ReactBench：系统性诊断多模态幻觉根源的因果驱动评测基准

ReactBench是一项突破性的多模态幻觉评测基准，首次从因果驱动角度而非简单结果检测角度评估多模态大语言模型（MLLM）的幻觉问题。它解决了现有基准仅关注幻觉结果、场景简化且无法挑战先进模型的痛点，通过多任务设计和考试风格评测形式，系统性暴露和诊断幻觉诱因。核心包括四大针对性任务、思维链推理诊断方法，实验揭示当前模型的脆弱性，对多模态AI发展具有重要意义。

多模态大语言模型（MLLM）在视觉-语言理解领域进展迅速，但核心问题是易产生与视觉输入不一致的幻觉。现有评测基准大多仅关注检测幻觉结果，很少探究根本原因；且依赖简化场景和有限评测形式，无法对最先进模型构成真正挑战。

ReactBench设计四大针对性任务，每个指向特定幻觉成因：

1. 关系抹除：修改物体空间配置（位置、遮挡），测试空间关系理解，暴露共现偏见；
2. 反事实属性：修改物体属性（颜色、形状）创建反事实场景，测试视觉感知与语言知识平衡，暴露语言先验；
3. 变更追踪：要求比较两幅图像识别变化，测试跨图像比较能力，暴露跨图像比较感知缺陷；
4. 密集计数：测试高密度相似物体计数能力，暴露细粒度感知瓶颈。

ReactBench采用思维链（CoT）推理诊断，超越传统准确率评测，优势包括：

• 可解释性：分析推理过程，明确偏差环节；
• 精准定位：知道模型错在哪里、为何错；
• 指导改进：针对性优化模型架构或训练策略。

ReactBench评估显示，当前MLLM面对特定幻觉触发器时仍显著脆弱，即使标准评测优异的模型也暴露严重弱点。实践意义：

• 模型选择：需关注特定幻觉类型表现；
• 安全评估：关键应用（医疗、自动驾驶）前需全面诊断；
• 持续改进：提供可复现扩展平台支持模型迭代。

ReactBench标志多模态幻觉研究进入新阶段（从检测转向理解），对构建可靠可解释系统至关重要：

• 研究者：提供系统性实验平台，探索架构/训练策略对幻觉的影响；
• 工业界：为模型评估和质量保证提供新工具；
• 用户：未来产品更可靠、更少幻觉。

ReactBench不仅是评测基准，更是多模态AI领域的方法论革新，从因果角度系统性诊断幻觉，为构建鲁棒可信MLLM铺路。项目已开源，研究者和开发者可访问ReactBench主页获取信息并使用。