雾栎昇 (@lingll) 在 经常蒸馏强模型的模型,会不会特别擅长“指挥”强模型? 中发帖
可以用经常蒸馏其他模型的模型,去指挥高智商模型吗?
因为之前一段时间不是在使用pi作者公布的方式蒸馏,而用这种方法蒸馏的时候,通常也需要写一份很详细的prompts,这个会不会直接内化到模型的能力里面呢?这样的话,会不会反而让这种模型比其他模型更擅长“指挥”高智商模型?