顾迪 (@zengyi) 在 在华为昇腾上面部署过模型的佬友给点建议 中发帖

服务器是910B的，vllm-ascend版本是v0.19.1rc1的，驱动版本是25.2.0   cann的版本不知道 
现在驱动没有办法更新（因为部署的有别的项目所以不能升级） 
使用docker启动的yaml文件 
services:
 vllm-ascend:
  image: ${IMAGE:-quay.m.daocloud.io/ascend/vllm-ascend:v0.19.1rc1-openeuler}
  platform: ${PLATFORM:-linux/arm64/v8}
  container_name: ${NAME:-vllm-ascend-qwen36}
  pull_policy: never

  privileged: true
  network_mode: host
  shm_size: 100g
  restart: unless-stop...
 
 
Back to Top