@chxbyqwen38本地部署的一些经历,给佬友们分享 中发帖

题主有一张4090 48gb的显卡,尝试在本地用claude code+qwen38 fp8实现全程的本地化,主要讲讲我自己的工作思路 

模型下载 
这边我直接在魔搭社区下载了fp8的权重文件,千问Qwen3.8-27B-FP8 · 模型库 
这个权重文件有整整30gb,昨天下午看的时候还是只有370k下载量,现在24小时过去已经有400k下载量了。

魔搭社区提供了git lfs和SDK两种下载的方式,个人实测下来,SDK的方式更加稳定可靠,lfs容易出现等待半年都没啥反应的情况。 
uv pip install -U modelscope
modelscope download \ --model Qwen/Qwen3.8-27B-FP8 \ --local_dir ./Qwen3.8-27B-FP8

下载后的目录变成 
./model/ 
├── .venv/ 
└── Qwen...
 
 
Back to Top