MissRAG：解决多模态大语言模型缺失模态挑战的RAG框架

MissRAG是首个专门解决多模态大语言模型缺失模态问题的检索增强生成（RAG）框架，支持音频、视频、文本三种模态的任意组合检索，由意大利摩德纳大学AIMagelab团队开发，相关成果已被ICCV 2025接收。

在理想实验室环境中，多模态大语言模型（MLLM）拥有完整数据输入，但现实中传感器故障、硬件限制、隐私法规、环境噪声、数据传输错误等因素常导致模态缺失或损坏。这种「缺失模态问题」是多模态AI落地的核心挑战，例如自动驾驶摄像头被强光眩目、监控麦克风受雨水干扰、医疗影像序列故障时，模型能否正常工作成为关键。

MissRAG的核心创新在于：当输入模态缺失时，从训练集构建的模态原型池中检索最相似替代数据，让模型在缺失输入下仍生成高质量输出。该框架支持音频、视频、文本三种模态的任意组合输入（单模态、双模态、三模态齐全），开发者无需为不同输入组合训练多个模型版本，适应性强。

MissRAG包含两个关键组件：

1. 模态原型检索池：使用ImageBind作为对比嵌入器，从训练集提取对齐的音频、视频、文本嵌入构建检索池；预计算训练集样本的模态token并存储为.h5格式，提升推理效率。
2. 模态感知提示工程：在提示中明确告知模型哪些模态缺失，指导生成过程，帮助模型调整推理策略。

MissRAG在五个多模态数据集上评估，涵盖三类任务：

• 音频-视觉问答（Music AVQA数据集）
• 音频-视觉描述（VALOR、CharadesEGO数据集）
• 多模态情感分析（MOSI、MOSEI数据集） 同时适配了OneLLM（7B）、ChatBridge（13B）、VideoLLaMA 2（7B）三个公开MLLM，证明其普适性。

MissRAG团队已在Hugging Face开源模态池和模态token数据，代码结构清晰，为每个支持模型提供独立实现目录和说明。使用流程：克隆仓库→创建对应模型的Python环境→下载数据集和预计算模态token→运行评估脚本；文档还提供原型构建指南，帮助用户为自有数据集构建检索池。

MissRAG标志着多模态RAG技术从理想场景向现实场景的重要迈进，为真实世界中数据不完整的情况提供解决方案。这一思路不仅适用于多模态场景，也为单模态RAG系统鲁棒性改进提供启发，未来有望出现更多「容错型」AI系统，在不完美输入下做出最优决策。