想要更好的阅读体验，欢迎到我的网站阅读：《On Policy Distillation(OPD) 学习》。 

On Policy Distillation(OPD) 学习
知识蒸馏
知识蒸馏是一种模型训练方法，通过让学生模型（Student）学习教师模型（Teacher）的输出或中间表示，将教师模型的知识迁移到学生模型中。 
那为啥需要蒸馏捏，不是有 SFT 吗，直接学不就完了？实际上蒸馏是用于模仿教师，让其学习到教师的一些隐状态，例如： 


假设你要训练一个模型识别三种动物，训练数据告诉模型图片里是猫。 
那么监督目标就是：​[cat:1.0, dog:0.0, rabbit:0.0]；问题在于，硬标签只告诉模型正确答案是猫，却没有告诉模型其他类别之间的关系。 
但是教师模型可能输出这样的概率分布：​[cat:0.8, dog:0.15, rabbit:0.05]​，学生模型除了学...