@bailing_0105请教Qwen3.8模式部署的问题 中发帖

手上有一台服务器,配置如下 
 [image] 
显卡是4090*2 
通过llama.cpp 部署的 Qwen3.8-27B-Uncensored-Q5_K_M.gguf 
启动参数为: 
ExecStart=/usr/local/bin/llama-server \
    -m /home/gebaolei/ollama/qwen3.8/Qwen3.8-27B-Uncensored-Q5_K_M.gguf \
    --mmproj /home/gebaolei/ollama/qwen3.8/mmproj-Qwen3.8-27B-Uncensored-f16.gguf \
    -a Qwen3.8-27B \
    --host 0.0.0.0 \
    --port 8888 \
    -ngl all \
    -np 1 \
    -c 262144 \
   ...
 
 
Back to Top