seuboy (@seuboy18)请教各位佬5060Ti16G+32CPU如何选择Qwe3.8-27b方案 中发帖

请教各位佬5060Ti16G+32CPU如何选择Qwe3.8-27b方案,感觉unsolth的Q4KM刚好比16G大,GPU吃不进去速度肯定低的一批,请有什么量化模型、方案能够使用Q4的吗
 
 
Back to Top