Gsai-1 在 分享一下5090D 本地部署Qwen3.8-27B几种思考模式下的鹈鹕 中发帖
显卡 5090D,ninfer 部署
执行参数:
ninfer-serve ./models/qwen3_8_27b_nvfp4.ninfer --host 127.0.0.1 --port 8080 --max-context 262144 --kv-capacity auto --max-concurrency 1 --max-pending-requests 16 --pending-timeout-ms 600000 --prefill-chunk 1024 --log-stats-interval-ms 5000 --kv-dtype int8 --spec mtp --draft-tokens 3 --lm-head-draft --default-max-tokens 8192
Qwen3.8-27B默认三档思考模式:
low
medium
xhigh
使用Cla...