安和 (@annhe) 在 训练资源的计算 中发帖

训练资源简单来说，7B的模型，计算需要的显存就是7B*16+激活值。这里的16来源见图。激活值是中间的输出结果。 
 [image]
 
 
Back to Top