son0ma 在 ds4更新,本地调优,接上次ds4 m5 max 128g实战 中发帖

ds4更新,本地调优,接上次ds4 m5 max 128g实战
https://linux.do/t/topic/2150351 
上次我已经把 **DeepSeek V4 Flash q2 GGUF** 在 M5 Max 128G 上跑起来了，并且接入了 Claude Code,最近看到ds4项目又更新了不少内容,打算继续折腾一下 
我的机器配置还是： 
CPU:      M5 Max
Memory:   128GB memory
Backend:  Apple Metal
Project:  https://github.com/antirez/ds4

翻了一下ds4的模型仓库,发现有了一个比较有意思的新模型: “DeepSeek V4 Flash mixed 2+4 bit GGUF”,看一下官方的文档,这个模型也还是q2量化,但是在推理时最后6层用的是q4量化,文档说代码质量会...
 
 
Back to Top