Paranoia Gu【分享】两张V100(16G)跑千问3.8-27B的最优命令 中发帖

分享一下我的命令,也许并不是最优,但是也是我目前调到最优的状态。欢迎大家提出更好方案。 
#!/bin/bash

nohup ./build/bin/llama-server \
    -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M \
    --parallel 1 \
    --ctx-size 262144 \
    --cache-type-k q4_0 \
    --cache-type-v q4_0 \
    --flash-attn on \
    --split-mode tensor \
    --spec-type draft-mtp \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --presence_penalty 0....
 
 
Back to Top