Bed (@beddev) 在 测了几个免费/低价 API 站，发现不少模型挂羊头卖狗肉，大家有现成的检测工具推荐吗？要不顺便搞个套皮检测站/诚信黑榜？ 中发帖

各位佬友好： 
最近我在测试一些免费/低价的 AI API 供应商，用的时候发现很多接口的生成质量很拉胯。 
出于好奇，我自己测了一下接口背后到底跑的是什么真实模型。结果发现——有些标着“GPT-5 Nano”或者高大上名称的接口，背后居然直接用 Llama 3.1 8B 这种小开源模型套皮顶替！ 
想向大家请教几个问题： 
现有工具： 目前社区里有没有成熟的检测工具或者模型盲测思路？ 
开源检测项目： 我打算写一个轻量级的开源检测工具发布到 GitHub，方便大家自己测 API。 
做一个“API 站诚信度/套皮黑榜平台”？ 我还在想，要不要干脆搭一个在线网站，不仅能在线检测 API，还能记录和查询各个 API 站点的“诚信度”（比如查查某个站点是不是经常挂羊头卖狗肉、偷换模型）。 
大家觉得做这样一个诚信查询平台有搞头吗？会不会触发大佬们的刚需？
 
 
Back to Top