UnifiedMemBench：面向大语言模型的综合性记忆能力评测基准

本文介绍UnifiedMemBench，一个专注于评估大语言模型（LLM）记忆能力的开源评测框架，涵盖上下文记忆、参数化知识和长期保留能力三个核心维度，采用事件中心评测方法，为LLM记忆能力评估提供系统化工具。

大语言模型快速发展，但传统评测基准对记忆能力的系统性评估不足。记忆能力对AI系统实用至关重要（如多轮对话连贯性、长期任务执行），UnifiedMemBench因此应运而生，提供统一事件中心框架评估三大记忆维度。

上下文记忆

类似人类工作记忆，指处理当前对话/文本时利用前文信息的能力，影响客服机器人等产品的对话连贯性。

参数化知识

预训练阶段编码到模型参数中的事实性知识，决定模型作为知识工具的可靠性。

长期保留能力

长时间跨度后回忆特定信息的能力，是个性化AI助手的关键。

UnifiedMemBench采用事件中心评测方法，区别于传统静态问答/阅读任务，通过构建时间序列事件场景模拟真实信息流，提升生态效度（评测结果与实际应用相关性更强）。

该基准帮助研究者识别模型记忆短板、追踪迭代中记忆能力变化，同时为开发者根据应用场景（如客服需上下文记忆、知识问答需参数化知识）选择合适模型提供依据。

作为开源项目，UnifiedMemBench提供代码和数据集，支持添加新场景、定制测试、对比模型表现，确保框架随LLM技术发展持续演进。

记忆能力是衡量LLM实用性的关键，UnifiedMemBench通过三维度框架和事件中心方法，为社区提供系统化评估工具，将推动AI系统用户体验提升。