@cainiao3hao 在 ds-v4.1-flash-1017 64g内存 本地部署报告 中发帖

上次的Strata量化测试,不少人说结论不清晰,太长懒看,这次数据方面直接放进opus生成的artifact,直观很多,结论部分则只看几个大标题就够了 


deepseek-v4.1-flash-1017跟qwen-3.8-flash-next的详细量化数据 
▶ 
数据依据的测试环境
以下是根据上面的数据,得出的结论与推测 
Strata存在一定计算损失,EAR偏差幅度相当于一级量化
是的孩子们,我被打脸了 
尽管KLD、top-1甚至PPL几乎完全一样,但EAR这个看概率分布的重叠程度的新指标,揭露出了Strata的损失 
 [image] 
平均差距在2-3%左右,比误差大,从unsloth的估算表来看,相当于IQ3_XS变IQ3_XXS的幅度 
▶ 
什么是EAR
内存影响可能比想象中的小
不知道是不是因为我是同频6400压延迟而不是分频8000冲带宽(是我不想吗,我冲了几次8000都是...
 
 
Back to Top