MemTrace：追踪大语言模型记忆系统错误的开源框架

MemTrace是浙江大学NLP团队（ZJUNLP）开源的LLM记忆系统调试框架，核心功能是通过将记忆流程转化为可执行的记忆演化图（操作-变量执行图），实现细粒度操作级错误归因，并支持自动优化提示词提升任务性能。该框架开源于2026年6月9日，对应论文提交于2026年5月27日，代码仓库位于GitHub（https://github.com/zjunlp/MemTrace），论文地址为https://arxiv.org/abs/2605.28732。

LLM记忆系统是支撑长程推理和多轮对话的关键组件，涵盖RAG、Mem0、EverMemOS等方案，但错误定位困难：错误可能源自事实提取遗漏、记忆更新覆盖、检索不相关或生成理解偏差；传统日志仅呈现文本级调用记录，无法揭示操作间的数据依赖与信息流转路径。MemTrace旨在解决这一问题，将记忆执行过程转化为可追溯的结构化图谱。

MemTrace的核心创新是操作-变量执行图：

• 变量：代表用户消息、提取事实、存储记忆、检索结果等数据实体
• 操作：代表事实提取、记忆更新、检索、生成等计算步骤 框架包含四大组件：

1. smartcomment追踪层（非侵入式记录执行图）
2. MemTraceBench基准数据集（覆盖四类记忆系统的标注失败案例）
3. 图级自动归因算法（定位故障操作与错误类型）
4. 诊断报告与自动优化模块（输出建议并优化提示词）

MemTrace采用迭代式子图追踪策略：从输出节点反向遍历执行图，通过反事实分析评估操作对最终错误的影响（若操作输出变化能否纠正答案），区分根因操作与下游传播错误。研究发现记忆系统失败多为系统性问题，如信息丢失、检索错位、更新冲突。

MemTrace利用归因信号针对性优化提示词（如增强事实提取指导、改进检索相关性判断），形成闭环优化机制。实验结果显示，该机制可显著提升端到端任务性能，最高达7.62%，且无需人工介入。

MemTrace支持pip/uv安装，要求Python≥3.12；内置MemTraceBench数据集加载与AgentScope Studio可视化界面；提供与MemBase的现成集成方案，MemBase用户可通过smartcomment追踪记忆生命周期并生成执行图数据。

MemTrace是LLM记忆系统可观测性领域的重要进展，将黑盒记忆流程转化为白盒执行图，为开发者提供调试与优化能力。随着LLM在长对话、个性化助手等场景普及，记忆系统可靠性愈发关键，MemTrace有望成为该领域基础设施，推动记忆系统从“能用”走向“可控”。