@LucentSnow 在 防御性正在让模型变成精神病人(又一次被气昏后的感想) 中发帖

如果一个 Agent 没有承担风险的勇气,那么就永远不会实现 AGI。 

我想论证的核心其实很简单:防御性为什么是有害的?(我甚至没有加过度一词,防御性就是有害的) 
最直观的体现,是我曾经看到的一段话: 

“你说得对,但我将要开始探针、快照、证据、门禁、夹具,还有哈希、冒烟、基线了。 
我要先建立唯一基线,再进行可追溯备份,先进行最小改动,我先进行一轮烟测,检查 89 个门禁是否通过,上线前进行一轮全量 dry-run,上线后校验哈希值,最后进行一轮实测的验收矩阵。” 

很多模型现在的行为就是如此。防御性过强最直接的恶果,就是为了不出错、为了可追溯、为了到处贴满免责声明,而占用了大量的上下文。 
上下文就那么大,真正留给任务本身的注意力所剩无几,全被这套自证清白的流程给填满了。这tm就是精神病人的自我洗脑! 
这一切发端于“我不靠猜”。曾经我看着Gemini模型那可笑的幻觉和自信...
 
 
Back to Top