视觉输入反而帮倒忙？多模态模型在词汇判断任务中的意外发现

一项新研究发现，给视觉语言模型添加真实图像上下文不仅未能提升词汇判断的准确性，反而常常损害模型与人类评分的一致性，尤其在视觉证据相关性较低时。研究团队通过探针分析和归因分析揭示背后机制，并提出简单指令即可缓解这一问题。

来源：arXiv 2026年5月26日发布的论文《Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery》（链接：http://arxiv.org/abs/2605.27315v1）

视觉语言模型（VLMs）的崛起标志着机器理解能力的重大飞跃，普遍假设认为视觉输入总能提升语言理解。但研究团队提出关键问题：VLMs能否区分有用视觉证据与无关图像上下文？这对理解和改进多模态系统至关重要。

研究以人类对词汇的“具体性”和“意象性”评分为切入点（涵盖抽象如“自由”到具体如“苹果”的词汇），测试核心假设：视觉证据相关时应有助，无关时可能有害。使用探针分析、典型相关分析理解模型表征变化，归因分析追踪视觉输入影响路径。

结果意外：真实图像上下文未提升性能，反而损害与人类评分的一致性，尤其在视觉证据相关性最低的子集。具体发现包括：1. 引入图像后模型词汇表征偏移，偏离真实分布；2. 对图像中无关视觉特征更敏感；3. 目标词汇属性可恢复性下降。这挑战了“更多模态总是更好”的假设。

视觉干扰的关键机制：1. 指令微调后的VLMs缺乏视觉上下文相关性校准，无法判断何时依赖/忽略视觉；2. 视觉表征在融合时占主导（“视觉霸权”）；3. 训练数据中的虚假关联被放大。

研究发现简单干预有效：推理时指示模型仅关注文本内容，可显著减少视觉输入带来的性能下降，尤其在易受影响的子集。这表明无需复杂架构修改，通过提示工程即可缓解问题，指向未来模型需动态调整模态权重。

理论层面：挑战视觉增强语言理解的假设，揭示多模态融合的复杂权衡；实践层面：提示在抽象概念或文本密集任务中减少视觉依赖；未来方向：设计自动评估视觉相关性机制、实现模态动态平衡、训练注入相关性敏感性。

多模态发展并非简单加法游戏，视觉与语言融合需精细协调。当前VLMs表现揭示构建智能多模态系统仍有长路。有时让模型专注文本比盲目加视觉更有效，这一洞见指导学术研究与实际应用。