@liuhua 在 很多人问私有化部署模型后 + pi + rea mcp真的够用吗?我来回答一下 中发帖
这是我上篇的文章,其实我只开启了 128k的上下文,有的人说 rea 直接就 100k 上下文拉满了,其实并不会。
为什么?其实老早 pi 就考虑这件事了,并且把自己都嫌弃的mcp引入到pi了,做到了按需搜索加载
[image]
所以我一直非常推荐pi,本身精简 + 现在mcp的优化,非常适合接入本地模型,可以说是少一样效果都差点。
总结一下:
组件
说明
模型
Qwen3.8-Flash-Next:125B 总参 / 每 token 激活 6B 的 MoE,另有 51B N-gram embedding 表和约 4B 的 MTP 头;48 层里只有 12 层(QSA)需要 KV cache;原生 262K 上下文
量化
ISTA-DASLab GSQ-RCO GGUF:GSQ 负责每个张量怎么量化,RCO 在总大小预算下给每个张量分配量化类型
运行时
...