@Piscesbody 在 [Qwen3.6]27B-FP8 SGLang本地部署-venv dev经验分享。 中发帖

上集回顾[Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 
环境： 
WLS2 Ubuntu22.04 
硬件： 
4090 48G 
SGLang太佛系了，快一个月了还不更新正式版，需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 
我测试了两个模型。以及DFlash加速方案。 
模型： 
官方FP8 Qwen/Qwen3.6-27B-FP8 · Hugging Face 
HuiHui edp1096/Huihui-Qwen3.6-27B-abliterated-FP8 · Hugging Face 
均支持MTP 加速，以及DFlash加速。 
SGlang venv环境部署： 
uv venv sglang-dev --python 3.12

source sglang-dev/bin/activate

#Ubuntu 可能遇到环境依赖问题，选择性安...
 
 
Back to Top