CausalLens：通过敏感性引导的多头因果干预消除视觉语言模型幻觉

CVPR 2026 接收的免训练方法，通过敏感性引导的多头因果干预技术，在不重新训练模型的前提下显著降低大视觉语言模型的物体幻觉问题。

• 原作者/维护者: Junyang Ji, Qifan Liu, Wenming Yang, Zhihai He
• 来源平台: GitHub
• 原始标题: CausalLens: Sensitivity-Guided Multi-Head Causal Intervention for Hallucination Mitigation in Large Vision-Language Models
• 原始链接: https://github.com/jijy20/CausalLens
• 论文链接: https://openaccess.thecvf.com/content/CVPR2026/papers/Ji_CausalLens_Sensitivity-Guided_Multi-Head_Causal_Intervention_for_Hallucination_Mitigation_in_Large_CVPR_2026_paper.pdf
• 来源发布时间: 2026年6月

大视觉语言模型（Large Vision-Language Models, LVLMs）在图像理解、视觉问答等任务中展现出强大的能力，但一个长期困扰研究者和应用开发者的问题是物体幻觉（Object Hallucination）——模型会生成描述图像中并不存在的物体的文本。这种幻觉不仅降低用户体验，更在医疗影像分析、自动驾驶等关键应用场景中带来严重风险。

传统的幻觉缓解方法大多依赖于对比解码（Contrastive Decoding）技术，如 VCD（Visual Contrastive Decoding）通过引入噪声图像作为对比来引导模型生成更准确的描述。然而，这些方法往往只关注表面的统计相关性，而没有深入探究视觉表征与文本生成之间的因果关系。

CausalLens 提出了一种全新的思路：从因果推断的视角来理解和干预视觉语言模型中的幻觉现象。该方法的核心假设是——幻觉的产生并非随机，而是特定注意力头对视觉信息的错误敏感所导致的。通过识别这些"敏感头"并进行针对性的因果干预，可以在不改变模型参数的情况下显著降低幻觉。

与现有方法相比，CausalLens 的独特之处在于：

1. 显式建模因果关系：不同于对比解码仅关注输入输出的统计差异，CausalLens 深入模型内部，分析视觉表征如何因果地影响文本生成
2. 免训练（Training-Free）：无需微调模型参数，直接干预推理过程，大幅降低部署成本
3. 多头协同干预：不是孤立地调整单个注意力头，而是在多个层上进行协调干预

CausalLens 的第一步是识别哪些注意力头对幻觉最为敏感。研究团队发现，在 LVLM 的多层注意力机制中，不同注意力头对视觉信息的响应模式存在显著差异。某些头更容易在缺乏明确视觉证据的情况下"编造"物体信息。

通过计算注意力权重对视觉输入的敏感性梯度，CausalLens 能够量化每个注意力头产生幻觉的倾向性，并筛选出最需要干预的目标头。

识别敏感头后，CausalLens 采用三层干预机制：

敏感性引导干预（Sensitivity-Guided Intervention）：根据敏感性评分，对高风险注意力头的输出进行定向调整，降低其在没有充分视觉证据时的激活强度。

多头协同干预（Multi-Head Causal Intervention）：幻觉的产生往往是多层注意力网络共同作用的结果。CausalLens 在指定的层范围（如第10到20层）内同步干预，确保干预效果在模型深层传播。

自适应混合策略（Adaptive Mixing Strategy）：完全替换注意力输出可能导致信息损失。CausalLens 通过可调节的混合参数（gamma_mix），在原始表征和干预后表征之间寻找最优平衡。

参数	说明	推荐范围
lambda_causal	因果干预强度	0.1-0.3
gamma_mix	残差与替换的混合比例	0.1-0.2
layer_start / layer_end	干预的层范围	5-25
sys_len	系统token数量	30-40
img_len	图像token数量	576 (LLaVA)

CausalLens 在 POPE（Polling-based Object Probing Evaluation）基准测试上取得了 state-of-the-art 的性能。POPE 是评估视觉语言模型幻觉问题的标准基准，通过设计对抗性的问答对来测试模型是否会错误地确认不存在的物体。

更重要的是，CausalLens 展现出出色的架构泛化能力：

• LLaVA 系列：在 LLaVA-1.5 等主流架构上验证有效
• Qwen2-VL：同样适用于阿里巴巴的 Qwen2-VL 模型
• 即插即用：仅需几行代码即可集成到现有推理流程中

实验表明，CausalLens 不仅在 POPE 上表现优异，在保持模型原有能力的同时，显著降低了幻觉率，且对正常视觉理解任务的性能影响极小。