henry (@Henry_Gorden)华为910c部署Qwen3.8-27B 中发帖

继上一帖子 

后部署的事终于有着落了,换了一台服务器部署,也成功部署了。 
现在将我的经验喂给gpt,让它帮我写一份文档供各位佬友参考 
Ascend 910 × 8 + Qwen3.8-27B + vLLM-Ascend 部署教程 

本文是一篇基于真实服务器环境和实际部署过程整理的操作手册。 
记录一次在 Ascend 910 × 8 + Kunpeng 920 + ARM64/aarch64 环境中,使用 vLLM + vLLM-Ascend 部署 Qwen3.8-27B 全量模型的过程。 
本文不仅记录最终的部署思路,也把实际部署过程中遇到的 Docker 镜像架构问题、A3/A2 配置混淆、NPU 映射、模型目录检查、容器验证、vLLM 服务验证等问题一起记录下来。 
如果你也是第一次在昇腾 NPU 上部署 vLLM,建议从头到尾看一遍,不要直接复制最后的命令。 


一、先说...
 
 
Back to Top