跨文档多实体问答新基准：MEBench 评测框架深度解析

MEBench是EMNLP 2025主会收录的跨文档多实体问答基准测试框架，专为评估大语言模型跨文档多实体问答能力设计。它解决现实中信息分散的推理挑战，涵盖数据集构建、评估指标、实验结果等核心内容，帮助认识大模型在复杂信息整合任务的能力与局限。

大语言模型单文档阅读理解接近人类水平，但现实问答常需跨多文档推理。例如比较特斯拉和比亚迪2024研发投入与市场份额的问题，需从多文档提取信息并综合分析，这类跨文档多实体问答对模型信息整合、推理能力提出更高要求。

MEBench核心目标：真实性（用真实文档）、复杂性（跨文档推理与多实体比较）、可扩展性（支持不同领域难度）、可解释性（详细评估指标与错误分析）。数据集构建流程：文档收集（维基、新闻、学术文献）→实体识别→关系抽取→问题生成。问题类型含事实性、比较性、因果性、推理性；难度分4级（Level1到Level4，从单文档提取到复杂综合分析）。

MEBench多维度评估：

1. 答案准确性：精确匹配、F1分数、语义相似度
2. 证据召回：文档召回率、证据完整性、噪声过滤
3. 推理质量：推理链完整性、逻辑一致性、幻觉检测

主流模型（GPT-4、Claude、Llama、Qwen等）评测结果：

1. 跨文档推理仍是挑战，准确率较单文档下降15-25%
2. 长上下文能力是双刃剑（表现更好但易信息过载）
3. RAG方法优势明显，但检索质量决定性能
4. 指令微调提升格式遵循能力，但核心推理提升有限

学术价值：提供标准化评估平台，公平比较模型、追踪领域进展、识别研究方向。工业应用：企业知识管理、金融分析、法律研究、医疗诊断等场景。模型开发：提供性能基准、错误分析指导改进、渐进式训练目标。

当前局限：领域覆盖（通用为主，专业领域少）、语言限制（英文为主）、动态更新难。未来方向：扩展专业领域、增加多语言支持、开发动态更新机制、探索多模态跨文档问答、建立人机协作评估模式。