唉 今天看到一些说benchmark无用 或者模型明明更强但是得分更低 所以benchmark就是野榜的话 
晚上看视频想着想着 
这不就和学生时代的考试一样吗 🫪 
大模型跑benchmark就像学生做考卷。 
不同学生的智力水平不一样 班级稳定前3的更被人看好 在面对考试的时候能发挥的更好。 
一些不那么优秀的学生可能刷到了题（类似训练过拟合了…)，在某几个考试突然超长发挥。针对主要靠题海战术的学生，一出新题（新的benchmark），瞬间哑火了。 
或者一些学生偏科严重，刚好考了他们舒服的领域（不一样类型的benchmark），能得更好的成绩。 
班级前几名有一些benchmark成绩很差，大家会倾向于觉得是没发挥好，成绩垫底的突然名列前茅会怀疑他是不是作弊。 
同时考试好/纸面成绩强，不一定实际工作表现上就更好，还是要看工作环境和适应能力。同时还要看老板的喜好（arena的盲测）。 ...