arthasQwen3.8-27B-FP8 部署兼容性问题咨询 中发帖

前提 
目前有一台机器,里面有4张L20的卡,其中有三张已经有其他用途不能动,驱动无法升级,现在想剩下其中的一个卡来试试部署 Qwen3.8-27B-FP8,部署步骤参考: 

目前遇到的问题 
我的驱动是 Driver Version: 535.216.03   CUDA Version: 12.2 
目标模型需要 vllm >= 0.17.0,而该版本的 vLLM 官方预编译包依赖 CUDA 12.9 或 CUDA 13.0 的 PyTorch 环境,与现有的 CUDA 12.2 环境不兼容 。 
由于不能升级驱动,咨询一下各位大佬有什么解决思路或者其他部署的方式吗 
报错日志 
(vllm_fix1) [root@gpu-l20-10 ~]# CUDA_VISIBLE_DEVICES=1 vllm serve /data/model/qwen/Qwen--Qwen3.8-27B-FP...
 
 
Back to Top