@zhiqing量化模型说话暂停,辫子抽都不动 中发帖

这种情况是不是量化算法的问题。把qwen3.6 27b转成int8 autoround,上下文一长,每次就说一句话,这种情况是量化参数的问题吗?怎么样是最优解,求各位佬解答
 
 
Back to Top