UnifiedMemBench：面向大语言模型的统一内存评估基准

UnifiedMemBench是由AceLi12138团队开发的开源基准测试框架，旨在系统评估大语言模型（LLM）的记忆能力。它填补了现有基准仅关注单一记忆类型的空白，通过上下文记忆、参数记忆、保留记忆三个核心维度，全面揭示模型在不同记忆场景下的表现，为LLM的研究与应用提供重要工具。

大语言模型快速发展，但现有记忆评估基准存在单一性问题，无法系统评估模型综合记忆能力。实际应用中，LLM需同时处理即时上下文、长期参数知识及跨会话信息保留，因此亟需综合评估工具。

UnifiedMemBench将记忆评估分为三个维度：

1. 上下文记忆：评估模型对即时信息的保持与利用能力，如长文本指代、对话状态跟踪；
2. 参数记忆：测试预训练中编码的世界知识，包括常识、专业知识等；
3. 保留记忆：创新性评估跨交互信息保持与更新能力，模拟长期用户交互场景。

UnifiedMemBench采用模块化架构，支持灵活配置测试场景。每个记忆维度配有专用数据集和指标，通过事件驱动的测试用例生成机制确保贴近实际应用。评估结果以标准化分数呈现，便于模型横向比较。

对研究者，该基准提供系统性记忆分析工具，帮助识别架构与训练方法对记忆的影响；对开发者，可辅助选择适合垂直领域（如客服、教育、医疗）的模型，尤其是需长期交互的场景。

UnifiedMemBench填补了LLM记忆综合评估的空白，三维度框架为改进记忆机制提供工具。随着多轮对话和个性化应用普及，保留记忆能力将更受关注。开源特性促进社区协作与基准完善。