CrossMath：视觉语言模型真的具备视觉推理能力吗？

核心观点提炼

CrossMath是新加坡南洋理工大学团队提出的新型多模态推理基准，旨在系统研究视觉语言模型（VLMs）的跨模态推理能力差距。通过控制变量的跨模态对比实验，揭示文本模态与视觉模态在推理任务中的本质差异——VLMs在处理视觉输入时的推理准确率显著低于等价文本输入，存在明显的模态差距。该研究对理解VLMs的能力边界、指引未来模型改进方向具有重要意义。

研究背景：多模态推理的迷思

视觉语言模型（VLMs）近年进展显著，从图文对齐到复杂推理，看似已“理解”视觉信息。但核心问题悬而未决：VLMs推理时依赖视觉信息本身，还是仅利用图像隐含的文本线索？这一问题对明确VLMs能力边界至关重要——若推理主要基于文本，“视觉推理”可能只是幻觉，视觉输入仅提供额外文本上下文。

CrossMath基准测试的设计哲学

CrossMath的核心设计理念是控制变量的跨模态对比。传统多模态基准难以区分模型是真视觉推理还是利用图像文本信息，CrossMath通过创建文本与视觉模态等价但形式不同的数学推理任务，直接比较模型在纯文本与视觉输入下的表现差异，消除模态混淆因素。

实验设计与方法论

CrossMath采用多种图像风格变体测试模型鲁棒性：

• 原始风格（Original）：标准数学题图像
• 无边框风格（Without Border）：去除边界，测试空间边界依赖
• 显著背景（With Significant Background）：米色背景等干扰元素
• 字体与颜色变化（Change Font and Color）：改变文字字体颜色，测试特定视觉特征依赖 通过对比不同视觉条件下的表现，识别模型推理瓶颈。

核心发现：模态差距确实存在

研究核心结论：视觉模态与文本模态在推理任务中存在显著差距。VLMs处理视觉输入时的推理准确率明显低于等价文本输入。这表明VLMs虽经大量图文对训练，但未实现跨模态等价推理能力，视觉编码阶段可能丢失推理关键信息。

技术实现与开源贡献

CrossMath提供完整基准数据集（上传至Hugging Face）、开源评估框架和推理代码。支持多种评估模式：纯图像（image）、混合（hybrid）、纯文本（text）；支持LoRA适配器加载，方便微调后评估。代码功能包括批量推理、多序列生成（num_return_sequence）、详细日志记录，降低复现门槛。

对VLM发展的启示与建议

1. 认知启示：勿过度解读VLMs的“视觉理解”能力，其更依赖文本线索。
2. 改进方向：需更好的视觉编码器（保留推理关键细节）、更强跨模态对齐机制（语义等价表示）、专门训练策略（强化视觉推理线索提取）。
3. 评估维度：未来评测应关注跨模态一致性——真正强大的VLM需在文本与视觉输入下表现相近。 CrossMath为多模态AI研究提供重要认识论工具，帮助理解模型能力边界，指引更可靠通用的AI系统发展。