Bunn (@BunnHack)研究团队Talkie发布首个“1930年复古” 13B大语言模型 TalkieTalkie-1930 中发帖

近日,研究团队Talkie正式发布了 Talkie-1930-13b-it。这并非一个追求最新知识的AI,而是一个刻意“停留在过去”的复古语言模型(Vintage Language Model)。该模型完全基于1931年以前的历史文本进行训练。 
该模型的基座版本(talkie-1930-13b-base)在 260B Token 的预1931年英语文本上进行了训练,内容涵盖书籍、报纸、期刊、专利及法庭案例。与使用现代聊天记录微调的AI不同, 
Talkie使用的是从历史礼仪手册、百科全书和书信指南中提取的指令对,并辅以在线直接偏好优化(DPO)技术。它的回答风格、词汇选择和知识储备完全局限于20世纪30年代之前。 
研究团队指出,Talkie-1930 不仅仅是一个有趣的对话伙伴,它在AI基础研究中具有重要价值: 
通过评估模型对1931年后发生的历史事件(如二战、太空竞赛)的“惊讶程度...
 
 
Back to Top