aeroides (@lilingfeng) 在 Kimi K3 自部署 8XB300 中发帖

来吃螃蟹 


 [image] 
主机配制: 

4TB RAM
16TM NVME SSD
8X B300

参数： 
参考 Kimi-K3 - SGLang 文档 进行了些微调 
SGLang 还加上了 DSpark 


安装
截止发帖时间，Kimi K3 的支持还没合并到主分支当中，这里使用的是 sgl-project/sglang at kimi-k3 
clone 下来需要使用 nightly index 安装 
pip install \
  --extra-index-url https://sgl-project.github.io/whl/cu130/ \
  --extra-index-url https://download.pytorch.org/whl/cu130 \
  --index-strategy unsafe-best-match \
  -e "p...
 
 
Back to Top