yeyucca 在 localllm在tool calling不满意的时候，看下 ckv 取值范围是否是q8_0以上 中发帖

除非这个模型在kv cache q4_0就能满足要求，如果达不到的话，尝试下kv cache设置到q8_0， 
本地部署hy3 AngleSlim的Q4_MTP版本，使用cline对接，kv cache设置为q4_0和q8_0，简直是判若两模， 
在llama.cpp的webui上看不出这种差距，但是涉及工具调用时，还是能比出来的 
为了正确性，牺牲点上下文长度，至少保证结果输出可用，哎~之前没往这方面想 
Caution 
Beware of extreme KV quantizations (e.g. -ctk q4_0), they can substantially degrade the model’s tool calling performance.
 
 
Back to Top