Tiki Android 在 好消息,3090算力破解成功了 中发帖

坏消息,只有FP/BF16的算力破解成功,对于低精度量化模型的推理场景没有提升。 
 [屏幕截图_20261025_091212] 
顺便用sglang跑了两个小一点的不同量化方式的模型,一个BF16,一个FP8,都对比破解前后的实际提升: 
 [屏幕截图_20261025_100511] 
 [屏幕截图_20261025_101847]
 
 
Back to Top