MeMo：将记忆作为模型的知识增强新范式

MeMo是一种模块化知识增强框架，核心在于通过独立的记忆模型编码新知识，无需修改LLM参数即可实现跨文档关系捕捉、检索噪声抵御与灾难性遗忘避免，支持即插即用地集成到开源及闭源LLM中，为解决LLM部署后知识更新难题提供新范式。

大语言模型（LLM）预训练后参数冻结，无法自动吸收新知识，制约实时信息类应用。传统方案存在局限：

• 检索增强生成（RAG）：难以捕捉跨文档复杂关系，易受检索噪声影响，且检索成本随知识库规模线性增长；
• 参数更新（微调/持续学习）：会导致灾难性遗忘，且闭源LLM无法访问权重，方案不可行。

MeMo提出“记忆即模型”的新范式，将知识存储与语言生成解耦：

1. 模块化与可分离性：记忆模型独立编码新知识，LLM专注生成，二者可独立优化；
2. 跨文档关系建模：通过专用编码器捕捉实体共指、因果链条等跨文档模式；
3. 检索噪声鲁棒性：端到端训练使记忆模型能从噪声中提取有用信息；
4. 推理高效性：检索成本与知识库大小无关，支持海量知识的低延迟查询。

MeMo包含三个核心组件：

• 编码器：采用层次化注意力机制，捕捉文档内部语义结构与文档间关联模式，将新文档转为紧凑向量；
• 记忆存储：结构化键值对网络，键对应查询语义特征，值存储知识内容，支持高效更新与检索；
• 检索器：基于学习的匹配函数，理解查询意图并匹配最相关记忆条目。

研究团队在三个基准测试验证MeMo性能：

• BrowseComp-Plus：展现处理大规模非结构化数据能力；
• NarrativeQA：验证跨文档叙事理解与关系跟踪能力；
• MuSiQue：在多跳问答任务中取得显著性能提升。 结果表明MeMo超越RAG与参数更新方法，且无灾难性遗忘。

MeMo的模块化设计具有广泛应用前景：

• 企业知识管理：动态更新知识库，无需模型重训练；
• 新闻媒体：实时追踪事件，建立关联分析；
• 学术研究：跟踪最新论文，构建领域知识图谱。 其兼容开源与闭源LLM的特性，降低了先进AI技术的应用门槛，为知识增强提供通用框架。