lz 近日捡了一台B300八卡。遂尝试部署 kimi-k3，试过 vllm 和 sglang。vllm 的比较稳定，sglang 的在上下文达到 14w 的时候会报 context overflow 的错误，可能是 manba 的空间没有预留好。而且 sglang 的 Dspark MTP draft，训练长度 ≤ 4096，在长上下文的情况下性能不好。 
 [image] 
先是安装 vllm。注意，官方的 nightly 预编译版只有 aarch64 架构的支持，只支持 GB300/GB200 ？所以在 amd64 架构 的 8xB300 上，需要手动编译。用 vllm 的 kimi-k3 分支。 
这里还需要打两个补丁 


flashinfer-python==0.6.15.post1，里的 ActivationType 里没有 Situ。Kimi-K3 的 MoE 用 SituG...