梦想成为科学家 (@Btc_Crush) 在 MAC跑大模型是不是真不行啊～ 中发帖

我在本地的 M5 Max 上部署了 
QWEN 3.8 27B 8-bit MLX 
下面是鹈鹕测试的效果，共用时12分27秒完成任务 
推理架构： 
推理引擎：Splash 1.4.1 
加速：DFlash 2 投机解码 
KV Cache：BF16，未量化 
循环状态：FP32 
思考档位：xhigh 
总体质量还是不错的，就是生成速度太慢了 30t/s 
 [582d1198728851ab7ef68d15c181398f]
 
 
Back to Top