诊断与缓解多模态大语言模型中的模态干扰问题

本文针对多模态大语言模型（MLLMs）中的模态干扰问题展开研究，提出基于扰动的因果诊断方法和一致性正则化微调框架，有效提升了模型的单模态鲁棒性与跨模态能力。

MLLMs在视觉问答、图文理解等任务表现出色，但面对模态干扰时存在明显脆弱性——输入含无关冗余信息会扭曲模型决策。例如纯图像分类加无关文本，模型可能忽略图像内容；纯文本问答加无关视觉内容导致错误，揭示跨模态能力的根本缺陷。

模态干扰指非必要模态的虚假信号扭曲模型决策，与跨模态能力问题密切相关（模型无法公平评估所有模态，难区分任务相关与无关信号）。在视觉主导（图像分类）、文本主导（纯文本问答）、多模态任务（VQA）中尤为明显，暴露模态选择性注意力机制不足。

通过系统性添加扰动观察输出变化，量化模型对特定模态的过度依赖。采用两种策略：1.启发式扰动（预定义规则如随机替换文本单词、图像加噪声）；2.对抗性扰动（PGD生成对抗样本）。比较原始与扰动输入的表现差异，识别依赖程度和脆弱样本类型。

包含两个核心组件：1.基于扰动的数据增强：训练时应用两种扰动生成增强数据，让模型接触各类干扰场景；2.输出级一致性正则化：强制原始与扰动输入的输出一致，最小化差异迫使模型学习鲁棒特征，关注任务相关信号。

在图像重（分类、推理）、文本重（问答、阅读）、多模态任务（VQA、图文匹配）上验证，涉及LLaVA-1.5、InstructBLIP等架构（7B到13B参数）。结果显示：单模态鲁棒性显著提升，标准多模态任务性能同步改善，跨模型架构和规模有一致增益。

揭示真实场景潜在风险（输入质量不可控时模型易被误导）；诊断工具帮助开发者评估模态偏见和脆弱点；一致性正则化思想可推广到其他鲁棒性训练场景，为构建可靠多模态AI系统提供新思路。

研究代码已在GitHub开源，包含因果诊断实现、扰动工具、微调框架、评估基准等，提供不同模型环境配置。模态干扰是MLLMs实用化的关键障碍，本研究提供了系统诊断方法和可行解决方案，未来鲁棒性问题将更受关注。