@astrostar 在 Kimi K3有2.8T的总参量，但是权重只有约1.6TB 中发帖

[image] 
之前估算部署k3硬件需求的时候，习惯性按8bpw来算，觉得要2.8TB的显存 
但是在hf上一看，官方的权重才1.6TB 
1.6TB换算到bit大概是14*10^12，2.8T=2.8*10^12 
14/2.8=5，也就是官方的权重精度就已经是5bpw左右了 
是不是意味着k3没什么通过量化节省显存的空间了？
 
 
Back to Top