咪叭 (@ChiyoSekai) 在 单卡16G 5060Ti 部署 Qwen3.6 35B A3B Apex量化测试(大核显亦可 中发帖
概述
感谢各位上次发帖很多佬的交流, 上次是豪华配置,这次测了弱一点的配置
首先期望不要太高,其实这个水平的模型OpenCode还有厉害一点的Minimax M2.5免费用(虽然刚才出现的Bug Minimax也没修好
能玩,但是上下文看自己的操作,如果有核显则可以拉到100K上下文,没有的话可能20-50K上下文了。(所以我特别喜欢有核显的电脑)显存比较紧急的话可以划分1层给CPU,可以拉高20K上下文应该
体感可以编程,没有什么问题
写了个时钟,还有个贪食蛇
相关说明
Apex量化的I-MINI GGUF表现真的很亮眼,损失感觉很小?
Qwen3.6 35B A3B的上下文真的好便宜
模型在这里,I-MINI版本就13.3G(这里不加载视觉模块了,显存不够): Qwen3.6-35B-A3B-APEX-GGUF · 模型库
如果有Intel 358H, 338H 32G+1...