@zhiqing 在 量化模型说话暂停,辫子抽都不动 中发帖
这种情况是不是量化算法的问题。把qwen3.6 27b转成int8 autoround,上下文一长,每次就说一句话,这种情况是量化参数的问题吗?怎么样是最优解,求各位佬解答这种情况是不是量化算法的问题。把qwen3.6 27b转成int8 autoround,上下文一长,每次就说一句话,这种情况是量化参数的问题吗?怎么样是最优解,求各位佬解答