seuboy (@seuboy18) 在 请教各位佬5060Ti16G+32CPU如何选择Qwe3.8-27b方案 中发帖
请教各位佬5060Ti16G+32CPU如何选择Qwe3.8-27b方案,感觉unsolth的Q4KM刚好比16G大,GPU吃不进去速度肯定低的一批,请有什么量化模型、方案能够使用Q4的吗