@zhiqing 在 探讨group size 大小对量化的影响 中发帖

测试显卡为rtx 3090，sglang版本：0.5.6.post3.dev9504 
鹈鹕骑单车测试 
最常见的group size = 128 
 [kelivo 2026-08-27 15.35.34] 
group size = 64 
 [image] 
group size = 32 
 [image] 
可用kv cache 




group size
token capacity




128
121856 (119k)


64
106560 (104k)


32
77504 (75.7k)



gemini spark一句话总结： 传统模型依靠无状态的纯 Softmax 注意力天然容错，而 Qwen3.8 采用了会逐步递归累积误差的 GatedDeltaNet 线性循环注意力与 256 维 QK-Norm，必须依赖 group_size=64 的细粒度尺度才能...
 
 
Back to Top