@cainiao3hao 在 ds-v4.1-flash-1017 64g内存 本地部署报告 中发帖
上次的Strata量化测试,不少人说结论不清晰,太长懒看,这次数据方面直接放进opus生成的artifact,直观很多,结论部分则只看几个大标题就够了
deepseek-v4.1-flash-1017跟qwen-3.8-flash-next的详细量化数据
▶
数据依据的测试环境
以下是根据上面的数据,得出的结论与推测
Strata存在一定计算损失,EAR偏差幅度相当于一级量化
是的孩子们,我被打脸了
尽管KLD、top-1甚至PPL几乎完全一样,但EAR这个看概率分布的重叠程度的新指标,揭露出了Strata的损失
[image]
平均差距在2-3%左右,比误差大,从unsloth的估算表来看,相当于IQ3_XS变IQ3_XXS的幅度
▶
什么是EAR
内存影响可能比想象中的小
不知道是不是因为我是同频6400压延迟而不是分频8000冲带宽(是我不想吗,我冲了几次8000都是...