@Linhao_Li 在 华为昇腾910B推理优化、AI Infra 中发帖
求助:有人优化过 vLLM Ascend 单卡部署 QWEN3.5-35B W8A8 类似模型吗?
大家好,我最近在尝试使用 vLLM Ascend 0.19.1 在单卡上部署 QWEN3.5-35B W8A8 量化模型。目前模型可以正常加载和推理,但实际推理性能一直达不到预期,因此想从算子优化角度继续排查和改进。
想请教一下,社区里有没有同学优化过类似模型,比如:
QWEN3.5-35B 或类似 30B~40B 级别大模型;
W8A8 量化模型;
vLLM Ascend 后端;
昇腾单卡推理;
decode 阶段性能优化。
如果有相关经验,非常希望能交流一下,也想请教一些排查思路和优化方向。
1. 当前环境
目前使用的是单卡部署,设备通过如下环境变量指定:
ASCEND_RT_VISIBLE_DEVICES=1
模型与服务信息:
MODEL_PATH=/path/to...