Video Modality Diagnostics：诊断多模态视频模型是否"真正"理解视频内容

Video Modality Diagnostics（VMD）是一个用于诊断多模态VideoQA模型（视觉/音频/字幕）的工具，支持模态消融、贡献度分析和鲁棒性测试，可离线测试或使用Colab VLM后端。其核心目的是帮助研究者判断模型是否真正利用视频信息，而非依赖音频或字幕"作弊"。

原作者/维护者：mlahozy21，来源平台：GitHub，项目链接：https://github.com/mlahozy21/video-modality-diagnostics，更新时间：2026-06-11T14:42:28Z。

近年来多模态VideoQA模型进展显著，但核心问题被忽视：模型是否真的看视频，还是依赖音频/字幕？若模型主要依赖非视觉模态，会在纯视觉任务表现差，且误导能力评估。VMD项目旨在解决此问题，提供系统化工具量化模型对各模态的依赖程度。

VMD采用三种策略：

1. 模态消融实验：移除某模态输入，观察性能变化（支持纯视觉、纯音频、纯字幕等组合）；
2. 模态贡献度分析：通过扰动模态输入（如加噪声、打乱时序），测量输出变化以量化贡献，并生成可视化热图；
3. 鲁棒性测试：评估模型在对抗扰动（不可见噪声）、时间扰动（删/重复帧）、空间扰动（裁剪/遮挡）、跨模态不一致（矛盾音视频）下的表现。

VMD采用模块化设计：

• 核心引擎：src/vmd/下含ablation.py（消融）、contribution.py（贡献度）、robustness.py（鲁棒性）、metrics.py（指标）；
• 交互工具：notebooks/提供可复现流程、示例数据和可视化，支持Colab；
• 批处理：scripts/支持大规模离线测试；
• 示例数据：data/sample/含测试样本。

设计灵活，支持本地/Colab VLM后端接入。

应用场景：

1. 模型开发调试：验证多模态融合、发现过度依赖/忽视的模态；
2. 模型评估比较：超越准确率，识别"表面高性能"模型；
3. 教学科普：演示模型"作弊"案例、解释多模态概念。

使用流程：

1. 准备预训练模型和数据集；
2. 基线测试记录性能；
3. 消融实验移除各模态；
4. 贡献度分析关键样本；
5. 鲁棒测试施加扰动；
6. 生成可视化报告。

VMD的价值在于提出AI评估的方法论问题：如何正确评估多模态模型能力？传统准确率易误判，VMD倡导"白盒"诊断，深入理解模型机制。实际应用中，可指导模型部署（如避免依赖字幕的模型用于字幕质量差的场景）。

总结：VMD是多模态视频理解研究的重要自我审视工具，提醒高准确率不等于真正理解，建议研究者纳入工具箱以指导模型设计方向。