PPTkgky 在 百度文心一言ERNIE-5.5-Flash-Base发布 中发帖

它是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。 
 [image]
 
 
Back to Top