多模态RAG的视觉证据选择新方法：从语义相关性到信息增益的范式转变

本文提出基于信息论的多模态检索增强生成（RAG）视觉证据选择框架，将证据效用定义为对模型输出分布的信息增益，解决传统方法依赖语义相关性导致的效用错配问题。该框架通过轻量级代理模型高效估计证据效用，实现性能提升与计算成本降低的双重优化。

在多模态RAG系统中，视觉证据选择直接影响回答质量。现有方法依赖语义相关性或表面相似度选择证据，但这些指标常与下游推理的实际效用存在显著错配。例如，查询建筑风格时，系统可能检索到语义相关的建筑图片，却缺乏判断风格的关键视觉特征，形成“相关性≠效用”的鸿沟。

研究团队从信息论视角重新形式化证据选择问题，将证据效用定义为信息增益（证据对模型输出分布的信息量变化），直接对齐推理目标。针对答案空间优化的计算不可行性，引入“隐变量层面的证据有用性”概念，并证明其与答案空间效用排序的等价性，为高效算法设计奠定基础。

该方法核心是使用轻量级多模态模型作为“效用预测器”，捕捉证据与推理目标的复杂关系。通过预计算和缓存机制，快速评估大量候选视觉证据的效用分数，无需运行完整大模型推理，平衡理论严谨性与部署效率。

在MRAG-Bench和Visual-RAG权威基准上，该方法持续超越现有最先进RAG基线，同时大幅降低计算成本。这意味着实际部署中可同时获得更好回答质量与更快响应速度，尤其适用于资源受限场景。

该工作为从业者提供清晰理论框架，帮助理解证据价值；轻量级代理设计易于集成到现有RAG管道，无需大规模重训。对图像密集型场景（如医疗影像分析、工业质检、视觉问答），效用导向的选择策略可提升体验。

本研究标志多模态RAG从“相关性驱动”向“效用驱动”的范式转变，既提供精确的证据选择标准，又实现计算效率。随着多模态大模型的部署，该方法为高效利用视觉信息提供理论基础与实践工具，推动下一代系统向更智能方向演进。