大型视觉语言模型真的在推理吗？视觉谜题基准测试揭示真相

大型视觉语言模型（LVLMs）在多模态任务表现出色，但究竟是真推理还是表面模式匹配？近期系统性综述通过视觉谜题基准测试家族，为解答这一核心争议提供了严谨评估框架，深入探查其抽象推理能力。

视觉谜题因依赖视觉信息、明确约束结构及可验证解答，且减少外部知识依赖，成为测试LVLMs抽象推理、规则归纳等能力的试金石。形式化定义为三元组⟨I, R, S⟩：I是视觉输入，R是规则约束，S是结构化解空间，可精确控制任务复杂度。

研究采用多类视觉谜题基准测试：归纳推理（瑞文渐进矩阵、程序生成矩阵、ARC系列）、类比推理（邦加德问题、REBUS等）、算法与演绎推理（程序性思维、逻辑推导）、几何空间推理（心理旋转、透视投影等），全面覆盖推理维度。

LVLMs在归纳任务（如RPM、ARC）中表现脆弱：分布偏移时性能骤降，依赖表面线索而非抽象规则，感知局限与推理错误纠缠，流利语言描述不保证忠实归纳，显示其智能多基于统计相关性而非因果理解。

在邦加德问题等类比任务中，LVLMs过度依赖局部特征（颜色、数量），忽视高层次关系结构；感知成功时也难保持关系对齐，微小变化导致性能退化，常以字面描述替代真正关系迁移，呈现"伪理解"。

LVLMs在算法推理（多步规划）和演绎推理（逻辑推导）中面临困难：难以维持长程逻辑一致性，多步推理易积累错误；空间推理受限于视觉编码器粒度，影响物理场景理解等实际应用。

分析发现LVLMs推理存在共性问题：对分布偏移敏感（过度拟合训练统计）、感知瓶颈与推理缺陷纠缠、语言流畅性与推理忠实性脱节（幻觉性解释），这些深层问题制约真推理能力。

研究者提出改进方向：开发感知-推理解耦方法、构建多样分布覆盖的训练数据、探索神经符号等架构创新、演进评估协议捕捉深层推理维度，推动AI从模式匹配向真正理解跨越。