语言模型也需要睡眠：通过记忆巩固与梦境实现持续自改进

原文标题：Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories 原作者/维护者：arXiv作者团队 来源平台：arXiv 发布时间：2026年6月2日 原文链接：http://arxiv.org/abs/2606.03979v1

核心观点：受人类学习过程启发，研究者提出"睡眠"范式，通过记忆巩固（将短期脆弱记忆蒸馏为稳定长期知识）和"梦境"（递归自我改进）两个核心阶段，解决大型语言模型缺乏持续学习能力的困境，实现无监督下的持续自改进。

尽管大型语言模型在即时预测和上下文学习任务上表现出色，但存在根本性局限：无法将上下文学习获得的临时知识转化为长期参数记忆，对话结束后经验即被遗忘，类似依赖短期记忆的人类，导致无法从长期交互积累知识或无监督自我改进。

研究团队从人类睡眠机制获得灵感：人类大脑通过睡眠将白天短期记忆整理、强化为长期记忆，保存重要信息并加强神经连接，基于此提出包含记忆巩固和梦境的"睡眠"范式。

记忆巩固阶段采用"知识播种"策略（向上蒸馏），将小规模自我模型的记忆蒸馏到更大网络中，在增加模型容量的同时保留已有知识。

具体实现为广义蒸馏过程，结合策略内蒸馏和基于强化学习的模仿学习，解决神经网络训练中的灾难性遗忘问题，确保扩展规模时不遗忘之前学到的知识。

梦境阶段是模型的无监督自我改进阶段，通过强化学习生成合成数据课程，用于复习新知识和精炼现有能力，全程无需人类监督。

此过程类似人类睡眠整理记忆，模型生成合成场景强化学习，探索知识的不同组合与应用方式，针对性加强薄弱环节，扩展能力边界。

论文在长期持续学习、知识整合、小样本泛化等挑战性任务上验证了"睡眠"范式的有效性，结果表明经过睡眠阶段的模型表现显著优于基线方法。

特别值得注意的是，该方法让模型能在无新人类标注数据的情况下持续改进，部署后可从实际使用中学习并将经验转化为永久能力提升。

"睡眠"范式代表静态模型向持续学习系统转变的重要一步，突破当前LLM依赖上下文窗口的局限，为构建真正终身学习的AI系统提供可行路径。

其意义不仅在技术层面，还展示了从生物智能汲取灵感设计AI的价值；未来可期待更多融合生物启发机制的AI系统，像人类一样从经验学习、巩固记忆，并在"梦境"中探索新可能。