HIVE：通过假设驱动迭代视觉证据检索增强多模态推理密集型检索

HIVE（假设驱动迭代视觉证据检索）框架通过四阶段流程（初始检索、LLM补偿查询合成、二次检索、LLM验证重排）将显式视觉-文本推理注入检索器，在MM-BRIGHT基准上实现41.7的nDCG@10，超越最佳多模态模型14.1分，显著提升多模态推理密集型检索性能。

在信息检索领域，多模态查询（涉及图表、截图等视觉内容且需深度文本推理）是挑战。现有多模态模型在MM-BRIGHT基准（29个技术领域2803个真实查询）上表现不佳：最佳多模态模型Nomic-Vision仅27.6 nDCG@10，甚至低于纯文本检索器DiVeR的32.2分，反映其无法有效整合视觉信息与文本逻辑的缺陷。

HIVE是即插即用框架，含四阶段：

1. 初始检索：用基础检索器缩小候选文档范围；
2. 补偿性查询合成：LLM分析初始候选文档的视觉/逻辑缺口，生成补充查询；
3. 二次检索：用补偿查询获取新候选文档，填补遗漏；
4. 验证与重排：LLM验证文档是否满足推理需求并重新排序。

MM-BRIGHT评估结果：

• 综合nDCG@10达41.7（新SOTA）；
• 比最佳纯文本模型DiVeR提升9.5分，比最佳多模态模型Nomic-Vision提升14.1分；
• 推理增强检索器贡献33.2分，HIVE框架额外贡献8.5分；
• 视觉需求高的领域优势明显：游戏68.2分、化学42.5分、可持续发展49.4分。

HIVE具有即插即用特性，可与多种检索器配合：

• 标准检索器（无推理能力的传统模型）；
• 推理增强检索器（具备一定推理能力的先进模型）； 易集成到现有系统，适用于多种场景。

HIVE揭示：检索不仅是匹配，更是推理。传统多模态模型隐式处理视觉-文本关联，复杂场景下力不从心；HIVE通过显式LLM介入，外化推理过程，具有可解释性（各阶段输出可查）、可控性（调整LLM提示优化）、模块化（各阶段独立改进）优势。

HIVE技术适用于：

• 技术文档检索（处理含图表/截图的编程、工程文档）；
• 学术文献搜索（整合论文图表与正文）；
• 电商产品搜索（理解图片与规格关联）；
• 医疗影像检索（结合影像与病历文本）； 随多模态内容增长，此类深度理解技术将更重要。