sqf (@sqfgood) 在 用CC简单测评了下ClaudeCode、ZCode、Deva的Harness能力差异 中发帖

由CC出任务，CC、ZCode、Deva使用相同模型（Opus5.5，思考等级medium）一起做，测正确率、耗时、Token等，最后再由CC进行评测，盲审由CC通过独立子代理分别使用Opus5.5和Fable5.1进行两次评审。 
CC定的任务方向，共20份代码，10份node、10份python。 
 [e610e1866a987be5d9a61a260ef6f158] 
做之前单独生成了三个key
 [890023d1a88ae0688624196a55026c16] 
三轮完成后的消耗（起初各给了20刀限制，后调整到100刀。）
 [242be7022b563a7f9993dc25589fe085] 
结论

正确率三方打平：复核后都是 57/60，平均得分差距小于 0.011。唯一稳定的失分点 P01 三方都有。
行为纪律 Deva 领先：AI 盲评 8 道行为题，Opus 和 ...
 
 
Back to Top