wei (@lin88)如何有可复现算法检测AI模型 中发帖

求助:如何科学检测 AI 模型是否掺水?
背景
想做一个一键检测模型真假的工具,但不知从何入手,求大佬指点。 
核心问题
1. 抓包后的格式如何判断?是否有固定前缀名称?

官方 API(如 OpenAI、百度文心等)
开源模型本地部署(需自行搭建推理服务)
第三方聚合平台

2. 如何分析接口响应格式?

标准响应结构(如 OpenAI 的 choices 字段)
响应时间、Token 消耗等元数据
异常返回码判断

3. 如何判定模型真假?

知识库验证:用已知标准问题测试(如“你的知识库截至到什么时候”)
能力边界测试:数学推理、代码生成、长文本处理(但速度太慢)

期望
求大佬分享科学检测方案,或推荐开源项目,感谢!
 
 
Back to Top