比卡丘 (@yixiaochuan) 在 本地部署能当子代理替代大部分token调用吗? 中发帖
现在很明显的看到各大官方模型套餐收紧了,
连中转站也顶不住开始各种收紧优惠、降智、降低速度了。
看了很多本地部署相关的,
加上最近strata让很多佬部署到qwen3.8-next-flash这种125b的模型。
但是我还是不太相信MoE在iq3 和 Q4量化下能稳定。
毕竟内存速度摆在那,长期多轮多并发暂时应该还是不可用,跑分截图状态罢了。
我是走mac studio m5 ultra 256G的路线,
本地部署qwen3.8-27b 和 qwen3.8-next-flash,
(更加期待qwen4)
可以的话甚至想上dsv4f 和 minimax-m3.1-flash。
有没有有经验的佬提供下思路?