MoIR：解决视觉语言模型中模态主导问题的新型信息路由方法

视觉语言模型(VLM)常面临模态主导问题——过度依赖单一模态而忽略其他模态。传统方法仅调整注意力分配无法弥补信息本身的缺失。MoIR(多模态信息路由器)通过识别低信息密度token并从强模态路由补充信息，构建信息密集的表征，显著提升模型在多模态任务中的鲁棒性和下游性能。

模态主导指VLM在预测时过度依赖某一模态（视觉或文本），忽视另一模态信息，导致预测错误或多模态融合失去意义。传统方法聚焦调整注意力分配，但假设所有模态信息足够可靠，无法解决低光照图像、模糊文本等场景下的信息缺失问题。

MoIR从信息层面融合，核心是识别信息贫乏token并从强模态补充。技术架构含三层：1.信息密度评估模块（计算token信息熵/置信度识别低信息token）；2.跨模态路由机制（语义感知地从另一模态补充相关信息）；3.构建信息密集表征送入语言模型。

实验在VQA-v2、COCO Caption等基准测试，结果显示：1.模态贡献更平衡（基线模型某模态贡献超80%，MoIR为40%-60%）；2.模态退化场景鲁棒性强（视觉/文本退化时仍维持合理性能）；3.下游任务性能提升1-3个百分点。

MoIR成功源于范式转换——关注信息质量而非注意力分配。其动态适应性无需预设模态重要性，能自适应路由信息；且不取代注意力机制，可与现有VLM架构集成。

实际应用中，MoIR提供内置容错机制，支持资源受限场景优化。未来可扩展到多模态（音频、传感器等）、更细粒度路由、与注意力协同、增强可解释性。