Terry (@TerryTAO) 在 第一个 10 万亿参数模型要来了?字节跳动秘密训练超大模型 中发帖
据英国《金融时报》最新报道,字节跳动目前正处于一项超大规模基础模型的预训练阶段,该模型最终规模最高可能达到 10 万亿(10 Trillion)参数。如果顺利完成训练,这将成为全球规模最大的 AI 基础模型之一,也将刷新中国大模型的参数纪录。
消息人士透露,这款模型目前仍处于 Pre-training(预训练) 阶段,这一过程通常需要 3 至 6 个月。最终模型是否达到 10 万亿参数,还将根据训练效果进行调整。
参数规模首次冲击 10 万亿
如果按照报道中的最高规模计算,这款模型将比月之暗面的 Kimi K3(约 2.8 万亿参数) 大出三倍以上,也远超此前国内主流万亿级模型。
报道称,目前业内普遍估计,Anthropic 最新的 Mythos 5 模型约为 8 万亿参数,而字节跳动此次瞄准的目标,甚至可能超过这一规模。由于 Anthropic、OpenAI 等公司并未公开官方参...