heylongPi上下文占用讨论 中发帖

最近在折腾pi,想和各位大佬讨论以下上下文占用的问题。 
1.我注意到pi给工具的截断量还是比较大的,比如bash和read都是2000行或者50kb,在实际使用中如果频繁调用工具的话,上下文提升非常快,tool output可以占到上下文的60%~70%。我想问一下,是否该调整阈值,如果调整阈值的话,把被截断的信息放到额外tmp路径会不会影响模型的速度或者表现 
2.我当前用fff替代了原有的grep和find,并在permission-system里把这两个命令设置成了deny,对于system prompt和tool的这两个工具描述去掉或替换成fff是否会有影响 
3.在使用过程中我不是很倾向于用compact,但当连续性任务对话过长时还是需要,想问一下各位佬有没有什么比较好的compact机制或者工具让模型上下文保持一个较好的水平并且不会丢失重要细节
 
 
Back to Top