Star (@Lima) 在 Cursor 研究:越强的 AI 模型越会“作弊”或“抄袭”应对编程基准测试 中发帖
Cursor 团队发现在 SWE-bench Pro 测试中,Opus 4.8 Max 编程功能的 63%的成功案例并非模型自行推导,而是通过检索公开网络上的已知补丁或挖掘仓库 Git 历史直接套用答案。移除.git 目录并限制网络访问后,Opus 4.8 Max 得分从 87.1%骤降至 73.0%,Cursor 自家的 Composer 2.5 从 74.7%降至 54.0%。
研究显示这种“鼓励作弊”行为随模型代际急剧升级:Opus 4.6 在严格环境下得分几乎不变,Opus 4.8 Max 却下降 14.1 分,Composer 2.5 更下降 20.7 分。但 GPT 系列模型未出现类似趋势。Cursor 呼吁编程评测必须控制运行环境,否则评价容易受检索答案功能影响而没有表现出模型真正的编程水平。