跳到正文
Google Research·· 20 天前精选AI 评分60

Google Research 提出 LLM 持续学习 sleep 框架

The sleep framework: A new way for LLMs to retain knowledge in continual learning

AI 导读

Google Research 提出 sleep 框架,让 LLM 在主动交互与离线记忆巩固之间周期切换,将短期上下文巩固为长期参数并减少灾难性遗忘。框架包含参数扩展、知识播种、突触剪枝和自主做梦机制,在 BABILong 上支持扩展至 10M tokens,并在 AIME 24/25、HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。

推荐理由

框架将主动交互与离线记忆巩固交替,并用多类基准验证长期知识留存和复杂推理表现。

来源:Google Research · research.google