skasou 在 不同的软件(比如unsloth或者koboldcpp)使用同样的本地模型,也会有性能差吗 中发帖
换句话说,有没有能简单测试本地模型的题目或者工具?
同样是Huihui-Qwen3.8-27B-abliterated-UD-DW-Q4_K_M.gguf
同一个讨论问题,不同软件的回答总是有些微妙的差别。
koboldcpp下面的回答就比unsloth下的语气更稳定点(或者说读起来更有可行度.说服力),就结果来说也更接近同样问题问了gpt/grok的答案;
但unsloth又有koboldcpp不能选择的思考模式深度(比如从low一直到extra high,难道只是噱头?),选择最高之后它的思维链比koboldcpp分析地似乎又更详细些。。。
最后我有点不知道该信哪边了。。。