欣 郁 (@user1164)暴论:显存带宽:dgx spark 1g/s= mac/amd 4g/s 中发帖

如题。 
可能“苹果8g ram=windows 16g ram”是笑话, 
但显存带宽的角度,“dgx spark 1g/s= mac/amd 4g/s”绝对不是笑话? 
因为: 
1)nvfp4的量化格式几乎没有量化损失; 
2)dgx spark支持nvfp4的存储和计算; 
3)mac和amd显卡仅支持4-bit存储,4bit量化的模型仍需反量化到16bit才能被计算 
所以如果认同nvfp4的质量,可认为dgx spark的显存等效800g/s的mac显存。 
推论1: 
Q4量化对m3 ultra/m4 max无意义。 
若不爆显存,则16bit模型比4bit量化版的解码速度更快——因为后者还要额外的反量化时间。 
Q4量化对mac仅仅只有存储意义。 
但若一个模型在mac上要Q4量化后才能装下,考虑到mac的显存显著高于带宽,则吐字/生图速度极慢,几乎没有使用价值。
 
 
Back to Top