@xqyqx 在 关于有些人使用ModelTrace判断蒸馏的说明 中发帖
今天看到社区里有不少人拿DeepSeek或其他指纹库外模型的测试结果来判断模型蒸馏,我想做一些说明
首先,这个用这个东西去判断蒸馏就是不合理的,数字序列本质就是模型偏好的一种体现,你能因为两个模型都喜欢猫、向日葵和蓝色就认为互相蒸馏吗
其次于算法上是不合理的,最终概率输出是经过了一层Softmax,概率之和一定是100%,值是相对的而非绝对的,我也早已在测试网页上写道:“本工具仅对指纹库内的模型进行归因;若待测模型不在指纹库中,得到任何结果都有可能。”,你应该把它看为一种验证工具,如果结果和你的预期模型一致,那就没问题,如果不一致,也不应该关注结果中更像哪个,因为你无法确定这个模型在不在指纹库内
ModelTrace最初的算法是在GPT/Claude的数据集上设计和验证的,当时在测试数据上达到了100%acc,也做过相应的消融实验,之后才将其开源。随着GPT/Claude不断更新,发...