蛋蛋 (@dandan) 在 VLLM部署的Qwen3.6-27B思考内容无法中文输出 中发帖

docker镜像部署的Qwen3.6-27B ，使用vllm/vllm-openai:v0.17.1。思考中总是很多的英文，提示词让他不要使用英文还是不行。 
启动参数 
 python3 -m vllm.entrypoints.openai.api_server 
      --model /models/Qwen3.6-27B-FP8 
      --host 0.0.0.0 
      --port 41000 
      --max-model-len 262144
      --gpu-memory-utilization 0.95
      --max-num-seqs 32
      --enable-chunked-prefill
      --served-model-name Qwen3.6-27B
      --enable-auto-tool-ch...
 
 
Back to Top