ylxmf (@ylxmf2005) 在 本来不想发帖的,但看到很多人说Claude蒸馏Qwen,因为Claude Qwen,真是这样吗? 中发帖
Claude 用中文问“你是什么模型”,它回答“我是千问”。
所以 Anthropic 肯定蒸馏了 Qwen。
当年 Gemini-Pro 用中文问时自称百度文心一言,也曾经被一堆人拿来嘲讽。
理性讨论分析:
A/ 有什么动机蒸馏 Qwen?
自称千问,说明预料里面存在千问这个模型,甚至存在我是千问这样的自我介绍,但它不能单独证明 Anthropic 蒸馏了 Qwen。 如今互联网中的预料有很多千问很正常吧,甚至英文预料里也有很多 Qwen 这个中国模型吧?
为什么刚刚说 Qwen 是中国模型,因为我猜想:中文语境下触发了中文 AI 助手自我介绍,因为 RL 让他有了语言偏好,类似于Gemini的政治倾向在用中文提问时偏向东大,用中文提问时,先验指向了中国模型,而 Qwen 可能是当下预料里权重最多的。
真的用 Qwen 蒸馏,是什么场景?难道不应该看任务轨迹和表现像不像...