@Astralyn 在 Google 提出睡眠框架，助力模型“持续学习” 中发帖

Google Research 提出“睡眠框架”，在持续学习中增加离线睡眠阶段，让大语言模型把短期上下文巩固为长期参数，缓解灾难性遗忘。 
模型在主动交互与离线巩固间周期切换，在 1000 万 token 长上下文、持续翻译、数学推理等测试中超过 GPT-4、SFT 等基线。 
Source:
 
 
Back to Top