yxs (@yuxuesong) 在 llama cpp发布大模型的缓存问题 中发帖
最近发现llama cpp发布大模型是有缓存的,机制还很复杂,slot、checkpoint、kv cache等等,这就导致我同样的输入,输出结果会不一样。
我的具体情况是:我写了个agent调用skill,确保会话每次的是新建的情况下,问同一个问题,连续三次、模型表现都有不同(温度都设为0了)。用商用模型api就不一样,每次都是一致的。这种现象其实不太好,结果不可控。佬们有没有相关经验可以分享指点一下?