ClinHallu：医疗多模态大模型幻觉诊断的分阶段精准定位基准

首个针对医疗多模态大模型推理过程的分阶段幻觉诊断基准ClinHallu发布，包含7031个验证实例，将推理过程分解为视觉识别、知识回忆、推理整合三个阶段，支持精准定位幻觉来源并验证针对性修复效果。

• 原作者/维护者：arXiv authors
• 来源平台：arxiv
• 原始标题：ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning
• 原始链接：http://arxiv.org/abs/2606.14697v1
• 来源发布时间/更新时间：2026-06-12T17:58:38Z

原作者与来源

• 原作者/维护者：arXiv authors
• 来源平台：arxiv
• 原始标题：ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning
• 原始链接：http://arxiv.org/abs/2606.14697v1
• 来源发布时间/更新时间：2026-06-12T17:58:38Z 原作者与来源\n\n- 原作者/团队：阿里巴巴达摩院（Alibaba DAMO Academy）\n- 来源平台：arXiv预印本\n- 原文标题：ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning\n- 原文链接：http://arxiv.org/abs/2606.14697v1\n- 发布时间：2026年6月12日\n- 开源地址：https://github.com/alibaba-damo-academy/ClinHallu\n\n背景：医疗AI的信任危机\n\n医疗多模态大语言模型（Medical MLLMs）的临床决策支持应用前景广阔，但幻觉问题（Hallucination）是阻碍其实际部署的核心障碍。在医疗场景中，幻觉可能导致严重的误诊、误治，直接威胁患者安全。\n\n现有基准的局限\n\n现有医疗幻觉基准主要聚焦于数据收集，却忽视了一个关键问题：幻觉究竟产生于推理的哪个阶段？\n\n不同类型的错误需要不同的缓解策略：\n- 视觉识别错误 → 需要改进图像编码器\n- 知识回忆错误 → 需要增强医学知识库\n- 推理整合错误 → 需要优化推理链设计\n\n如果不能精准定位幻觉来源，缓解措施就可能"治标不治本"。\n\n推理阶段的复杂性\n\n医疗MLLM的推理过程通常涉及多个阶段，每个阶段都可能产生特定类型的错误：\n\n\n医学图像输入\n ↓\n[视觉识别阶段] ← 可能产生视觉幻觉\n ↓\n[知识回忆阶段] ← 可能产生知识幻觉\n ↓\n[推理整合阶段] ← 可能产生推理幻觉\n ↓\n临床决策输出\n\n\nClinHallu基准介绍\n\n核心定位\n\nClinHallu是首个专门针对医疗MLLM推理过程的分阶段幻觉诊断基准，旨在实现幻觉来源的精准定位。该基准由阿里巴巴达摩院团队开发，已开源供研究社区使用。\n\n数据集规模\n\n| 统计项 | 数值 |\n|--------|------|\n| 验证实例总数 | 7,031个 |\n| 推理阶段分解 | 3个核心阶段 |\n| 阶段细分维度 | 多维度分析 |\n\n推理阶段分解框架\n\nClinHallu将医疗MLLM的推理过程分解为三个核心阶段：\n\n阶段一：视觉识别（Visual Recognition）\n\n该阶段负责从医学图像中提取视觉信息：\n\n- 典型任务：病灶检测、器官分割、异常识别\n- 常见幻觉：将正常结构误认为病灶、忽略关键病变区域、误判病变类型\n- 诊断重点：模型是否准确"看到"了图像中的关键信息\n\n阶段二：知识回忆（Knowledge Recall）\n\n该阶段调用医学知识库支持诊断推理：\n\n- 典型任务：疾病知识检索、症状-疾病关联、治疗方案回忆\n- 常见幻觉：引用错误的医学知识、混淆相似疾病、遗漏关键诊断标准\n- 诊断重点：模型调用的医学知识是否准确、完整\n\n阶段三：推理整合（Reasoning Integration）\n\n该阶段将视觉信息和医学知识整合为最终诊断：\n\n- 典型任务：多模态信息融合、因果推理、诊断决策\n- 常见幻觉：逻辑跳跃、因果倒置、证据-结论不匹配\n- 诊断重点：推理链条是否严密、整合过程是否合理\n\n阶段替换干预机制\n\n诊断方法论\n\nClinHallu创新性地引入了阶段替换干预（Stage-Replacement Intervention）机制，用于测量修正特定阶段对最终答案的影响：\n\n\n原始推理流程：\n视觉识别 → 知识回忆 → 推理整合 → 输出\n ↓ ↓ ↓\n 可能错误 可能错误 可能错误\n\n干预实验设计：\n实验A：用ground truth替换视觉识别输出 → 观察最终答案变化\n实验B：用ground truth替换知识回忆输出 → 观察最终答案变化\n实验C：用ground truth替换推理整合输入 → 观察最终答案变化\n\n\n干预效果测量\n\n通过比较干预前后的输出变化，可以量化各阶段对最终错误的贡献度：\n\n- 高影响干预：替换某阶段后最终答案显著改善 → 该阶段是主要错误来源\n- 低影响干预：替换某阶段后最终答案变化不大 → 错误可能来自其他阶段\n- 复合错误：需要替换多个阶段才能修正 → 错误在多个阶段累积\n\n基于推理痕迹的监督微调\n\n缓解策略验证\n\nClinHallu不仅用于诊断，还验证了针对性的缓解策略。研究展示了基于推理痕迹的监督微调（Trace-Supervised Fine-Tuning）可以有效减少分阶段幻觉：\n\n训练方法\n\n1. 痕迹收集：收集模型在各阶段的推理输出\n2. 错误标注：标注各阶段的具体错误类型和位置\n3. 针对性微调：使用阶段级监督信号进行微调\n4. 效果验证：在ClinHallu上验证各阶段幻觉的减少程度\n\n实验结果\n\n基于推理痕迹的微调相比传统端到端微调显示出优势：\n\n- 精准纠错：可以针对性地修正特定阶段的错误模式\n- 可解释改进：改进效果可以归因到具体阶段\n- 效率提升：避免了对正确阶段的过度调整\n\n对医疗AI开发的启示\n\n诊断驱动的开发范式\n\nClinHallu推动了医疗MLLM开发范式的转变：\n\n从"黑盒测试"到"白盒诊断"\n\n传统评估只关注最终输出对错，而ClinHallu提供了"白盒"诊断能力：\n\n| 评估维度 | 传统方法 | ClinHallu方法 |\n|---------|---------|--------------|\n| 评估粒度 | 端到端 | 分阶段 |\n| 错误定位 | 模糊 | 精准 |\n| 改进指导 | 间接 | 直接 |\n| 可解释性 | 低 | 高 |\n\n精准修复策略\n\n基于ClinHallu的诊断结果，开发者可以采取针对性措施：\n\n视觉识别阶段问题：\n- 增强医学图像预训练\n- 引入领域特定的视觉编码器\n- 增加图像-文本对齐训练\n\n知识回忆阶段问题：\n- 扩充医学知识库覆盖\n- 改进知识检索机制\n- 增强事实性约束\n\n推理整合阶段问题：\n- 优化多模态融合架构\n- 引入显式推理链监督\n- 加强逻辑一致性训练\n\n实际部署价值\n\n对于正在开发或部署医疗AI系统的团队，ClinHallu提供了实用价值：\n\n1. 上线前诊断：在系统部署前进行全面的阶段级诊断\n2. 持续监控：建立分阶段的运行时监控体系\n3. 问题追溯：当出现错误诊断时，快速定位问题根源\n4. 改进验证：验证针对性改进措施的实际效果\n\n技术实现细节\n\n推理痕迹结构化\n\nClinHallu的核心创新之一是将非结构化的推理过程转化为结构化痕迹：\n\njson\n{\n \"instance_id\": \"CH_001\",\n \"image\": \"path/to/medical/image.jpg\",\n \"ground_truth\": \"良性肺结节\",\n \"reasoning_trace\": {\n \"visual_recognition\": {\n \"output\": \"右肺下叶可见一圆形阴影，直径约8mm\",\n \"ground_truth\": \"右肺下叶可见一圆形阴影，直径约8mm，边界清晰\",\n \"hallucination\": false\n },\n \"knowledge_recall\": {\n \"output\": \"肺结节直径<10mm，边界清晰，提示良性可能大\",\n \"ground_truth\": \"肺结节直径<10mm，边界清晰，无分叶毛刺，提示良性可能大\",\n \"hallucination\": \"遗漏'无分叶毛刺'关键特征\"\n },\n \"reasoning_integration\": {\n \"output\": \"综合影像特征，考虑良性肺结节\",\n \"ground_truth\": \"综合影像特征，考虑良性肺结节，建议定期随访\",\n \"hallucination\": \"遗漏随访建议\"\n }\n }\n}\n\n\n干预实验设计\n\n阶段替换干预的技术实现：\n\n1. 阶段隔离：确保各阶段的输入输出可独立替换\n2. 控制变量：每次只替换一个阶段，保持其他阶段不变\n3. 效果量化：使用标准化指标测量干预效果\n4. 统计分析：进行显著性检验确保结果可靠性\n\n局限与未来方向\n\n当前局限\n\n1. 语言覆盖：当前基准主要覆盖中文和英文医疗场景\n2. 模态局限：主要聚焦图像-文本多模态，未涵盖其他模态（如基因组数据、时序信号）\n3. 疾病范围：覆盖疾病类型有限，需要持续扩展\n\n未来发展方向\n\n1. 扩展至更多医疗场景：放射科、病理科、皮肤科等多专科覆盖\n2. 多模态扩展：整合基因组、蛋白质组、电子健康记录等更多模态\n3. 实时诊断工具：开发基于ClinHallu的实时诊断和监控工具\n4. 跨语言扩展：支持更多语言的医疗MLLM评估\n\n结语\n\nClinHallu的发布标志着医疗MLLM评估进入"精准诊断"时代。通过将推理过程分解为视觉识别、知识回忆、推理整合三个阶段，并提供阶段替换干预机制，ClinHallu使开发者能够精准定位幻觉来源，采取针对性修复措施。\n\n在医疗AI这个对安全性要求极高的领域，"知道模型哪里错了"比"知道模型错了"更有价值。ClinHallu提供的分阶段诊断能力，为构建更可信的医疗AI系统奠定了坚实基础。\n\n对于医疗AI开发者而言，ClinHallu不仅是一个评估工具，更是一个开发指南——它指明了改进的方向：不是笼统地"减少幻觉"，而是针对性地"修复视觉识别"、"增强知识回忆"或"优化推理整合"。这种精准化的开发方法，将加速医疗AI从实验室走向临床实际应用。