LingEasy 在 关于codex 上下文提升到353K的实际影响 中发帖
我查询了下历史记录,之前工作上下文是272K,然后240K压缩。现在提升到了353K。但是353K超出272还是多少的部分我忘了,是有倍数成本的,
之前为了解决这个问题,将他降低回到了272 和 240.然后今天明显发现缓存率降低了。而且工作时长提升了,效率降低了,实际成本貌似没太大差别。
后来我计算了下,在272k的情况下 缓存命中平均是95%多一点。而353K(也就是更新5.6后)缓存命中大概98.6%。
[image]
[image]
[image]
因此虽然超过272k的部分输入输出成本增加,但是因为有缓存。实际成本没增加多少。而一次上下文压缩导致的失忆,重新探索弥补的成本可能高于他。所以官方的这个设定和提升,在实际上可能并不会增加成本反而减低成本。
即使增加也是特定情况下的增加。
感觉没必要刻意为了这个成本来调整。我现在已经调整回去了。感觉使用起来很不错。至少同...