𝓕-𝓓𝓻𝓸𝓲𝓭 (@F-droid) 在 对于AI模型蒸馏,我发表一点个人的看法 中发帖

很多人一提到“蒸馏”这两个字,就特别抵触,第一时间联想到的就是窃取别人的“知识成果”。 
在我看来,事实情况并没有绝大多数人想象的那么简单。如果“蒸馏”真的有那么有用的话,为什么头部还是只有那几个玩家?最不缺钱的“欧公子”为什么只能勉强坐到牌桌的边缘? 
就像人类学习一样,最开始大家都是自己看书、自己做题、自己领悟,但是这样的效率实在是太慢了,你可能一天下来都学不了多少东西。后来就出现了教辅资料,有一些学霸、名师把自己摸爬滚打的经验写出来,到你学的时候就直接学习别人的间接经验,能够极大的提高学习效率。 
但是,这样的话又带来了新的问题,但凡是资料里面出现的多的知识点或题型,大家都能够轻松应答,人人都能考九十分以上,导致考试选拔人才的功效被稀释了。于是,老师就把题目出得更加的灵活,题目上下文的情境也更长了,确保绝大多数人没有见过,测试一下大家的真实实力。结果,相当一部分的记忆性选手就在这里翻...
 
 
Back to Top