lhish刚刚突然有了一个替代compaction的治理context rot和上下文不够的抽象想法 中发帖

现在的compaction感觉不是很靠谱,无论是丢信息啊还是之类的。刚刚突然在想,之前经常因为一些原因一个session烂掉,这个时候我想续上这个session,我就会直接复制这个session的最后大约20k(我也不太清楚)的内容,然后作为prompt塞进下一个session就好了,然后对话就续上了 😢 
感觉比compaction便宜还快 🤪 
不如直接做成每次满了,就去掉前80%然后就好了 😆 
虽然最好的方式显然是滑动窗口,但是由于缓存便宜,所以完全行不通。 
评价是:context rot的根源是大模型太贵了(用缓存才稍微正常一点)(大模型厂商怎么这么坏,就知道节省计算资源 😡)(虽然是缓存计算成本低是客观事实)(虽然缓存确实对用户的钱包更友好一点)
 
 
Back to Top