jam1024 (@geekjam) 在 也许你该谨慎使用CLAUDE.md 或 AGENT.md ? 中发帖
最新论文: [2602.11988] Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
这篇论文(arXiv: 2602.11988)的核心问题是:
目前非常流行的仓库级上下文文件(如 AGENTS.md、CLAUDE.md 等)到底对代码编写的真实任务表现有没有帮助?帮助有多少?
论文给出的结论相当反直觉
作者的主要发现(作者号称得到非常一致的实验结果)
总体上,对比不添加上下文文件,添加上下文文件反而可能让 Agent 表现变差:
LLM 自动生成的上下文文件平均降低成功率约 3%。
人自己手写的上下文文件平均只提升 4%(幅度很小,且在某些情况甚至更差)。
成本显著增加:
推理成本(token 消耗)平均增加 20%以上(有些情况下接近翻倍)
...