随心录 (@user192) 在 5090D+Qwen3.8-27B+SGLang + WSL 部署方案文档 中发帖
Qwen3.8-27B SGLang 推理服务 · WSL 部署方案文档
项目:darksidewalker/qwen3.8-27b-sglang-dspark-blackwell内容:NVFP4 量化版 Qwen3.8-27B + DSpark 投机解码 drafter,单张 RTX 5090(32GB)高吞吐推理整理日期:2026-08-22(基于实际部署过程复盘)
一、项目概述
项
说明
模型
Qwen3.8-27B,NVFP4 权重 + NVFP4 lm_head + FP8 KV cache
加速
DSpark drafter 投机解码(草稿块整体验证),实测峰值 ~300 tok/s 级
引擎
SGLang 官方预构建镜像 lmsysorg/sglang:qwen38-27b(免 JIT 编译)
显存占用
godspeed 约 31 GB /...