MemAgent：基于强化学习的超长上下文记忆代理框架

本文介绍MemAgent框架，通过端到端强化学习训练记忆代理，无需修改模型架构即可处理350万token超长上下文，在512K RULER测试中达到95%以上准确率。核心解决长上下文处理的计算瓶颈与信息丢失问题，为长文本处理开辟新方向。

大型语言模型上下文窗口长度是实用瓶颈。现有扩展技术（如位置编码外推、滑动窗口注意力）计算复杂度随序列长度二次增长，处理百万级token成本极高；简单截断或分块易导致跨块信息丢失，影响任务性能。

MemAgent通过端到端强化学习训练记忆代理，不修改底层模型架构。核心创新包括：线性时间复杂度（资源消耗与文本长度线性相关）；基于可验证奖励的强化学习（RLVR）优化多轮上下文无关对话工作流；卓越外推能力（8K训练可外推至32K，RL训练后处理350万token问答性能损失<5%）。其多轮上下文无关对话框架让代理主动管理记忆，异步Agent框架（RayActor并行）避免阻塞。

MemAgent在超长上下文任务中表现优异：14B模型处理350万token问答近乎无损；7B模型在512K RULER测试准确率超95%；从8K训练上下文外推至350万token，性能衰减控制在5%以内，证明架构有效性与RL训练可扩展性。

快速部署：本地用vLLM服务（示例脚本：vllm serve BytedTsinghua-SIA/RL-MemoryAgent-14B --tensor_parallel_size 2 + python quickstart.py），或配置环境变量对接在线模型。

训练框架：通用端到端RL训练，支持多步Agent工作流。数据用HotpotQA处理（合成长上下文多跳数据、过滤无需上下文样本）；模型支持Qwen2.5-Instruct系列（需配置YaRN激活长上下文）；支持单/多节点Ray集群训练。

MemAgent可应用于：文档理解（整本书籍、法律合同）、代码分析（大型代码库全局理解）、科学研究（长篇论文/多文档综述）、对话系统（长期记忆对话历史）。其发布为长文本处理领域里程碑，突破传统上下文限制。

MemAgent通过记忆代理架构与RL训练突破上下文长度限制，线性复杂度与外推能力为长文本处理开辟新方向。项目基于verl构建，开源训练框架、评估工具及预训练模型（7B/14B），为社区提供完整工具链。未来将探索多模态扩展与更多应用场景。