行云 (@qbter) 在 Nvidia 4060Ti部署Qwen3.6方案 中发帖

一、硬件
GPU：Nvidia 4060Ti 16G 
CPU：Intel 12600KF 
内存：64G 
二、软件
OS：Debian13 
部署：LLamaCPP 
2.1 运行命令
    taskset -c 0-11 llama-server --api-key "123456" \
      -m ./Hermes3.6-35B-A3B-Uncensored-Genesis-Final-MTP-APEX-Compact.gguf \
      -a Qwen3.6-35B-A3B \
      --reasoning-budget 8192 \
      --spec-type draft-mtp \
      --spec-draft-n-max 4 \
      --spec-draft-p-min 0.80 \
      --jinja \
      -...
 
 
Back to Top