比卡丘 (@yixiaochuan) 在 本地部署能当子代理替代大部分token调用吗? 中发帖

现在很明显的看到各大官方模型套餐收紧了, 
连中转站也顶不住开始各种收紧优惠、降智、降低速度了。 
看了很多本地部署相关的, 
加上最近strata让很多佬部署到qwen3.8-next-flash这种125b的模型。 
但是我还是不太相信MoE在iq3 和 Q4量化下能稳定。 
毕竟内存速度摆在那,长期多轮多并发暂时应该还是不可用,跑分截图状态罢了。 
我是走mac studio m5 ultra 256G的路线, 
本地部署qwen3.8-27b 和 qwen3.8-next-flash, 
(更加期待qwen4) 
可以的话甚至想上dsv4f 和 minimax-m3.1-flash。 
有没有有经验的佬提供下思路?
 
 
Back to Top