Google Research·· 20 天前精选AI 评分60
Google Research 提出 LLM 持续学习 sleep 框架
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架,让 LLM 在主动交互与离线记忆巩固之间周期切换,将短期上下文巩固为长期参数并减少灾难性遗忘。框架包含参数扩展、知识播种、突触剪枝和自主做梦机制,在 BABILong 上支持扩展至 10M tokens,并在 AIME 24/25、HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。
推荐理由
框架将主动交互与离线记忆巩固交替,并用多类基准验证长期知识留存和复杂推理表现。
来源:Google Research · research.google