多模态大语言模型的检索困境：生成能力强大为何检索能力薄弱

ACL 2026研究《Generative Giants, Retrieval Weaklings》揭示：多模态大语言模型（MLLMs）在图像描述生成、视觉问答等生成任务上表现优异，但在多模态检索任务中存在系统性缺陷。本文将深入分析这一现象的根本原因、实验验证结果及改进方向，帮助理解MLLMs的能力边界。

多模态AI发展有两大方向：生成式任务（如图像描述、视觉问答，需产生新内容）和检索式任务（如跨模态匹配，需从候选中找最相关项）。直觉上生成强的模型应擅长检索，但实际中许多顶尖MLLMs在检索评估中表现平平，甚至落后于专用检索模型。

MLLMs生成强但检索弱的深层原因：

1. 架构与训练目标差异：自回归生成架构优化下一个token预测，未直接优化跨模态相似性；
2. 表示空间不一致：生成任务无需输入输出语义空间对应，检索需共享嵌入空间的可比表示；
3. 训练数据偏差：侧重描述性内容，缺乏精确匹配训练；
4. 评估指标不匹配：生成用宽松的语义/ngram指标，检索用严格的精确率/召回率。

研究团队在多个数据集测试主流MLLMs：

• 零样本检索表现远低于监督训练的专用检索模型；
• 微调后提升有限，说明缺陷根植于架构和预训练目标；
• 错误模式独特：难以区分语义相近但不完全匹配的候选，对细微差异不敏感（与生成任务的幻觉/不详细不同）。

可能的改进路径：

1. 混合架构：保留生成能力同时引入专用检索模块；
2. 优化预训练目标：显式整合对比学习（已在纯视觉-语言预训练中显效）；
3. 检索导向的指令微调：让模型学习比较排序多模态内容。

研究对业界的指导意义：

1. 评估能力边界：不能假设生成强则检索强，需根据场景评估；
2. 模型组合策略：对需生成+检索的应用，可先用专用检索模型筛选，再用MLLM深入分析；
3. 未来模型设计：平衡生成与检索能力，或提供灵活配置选项。