ChronoPhyBench：多模态大模型真的理解物理世界，还是只是在利用语言先验？

ChronoPhyBench是一个全新的多模态物理动态推理基准测试，旨在检验多模态大模型（MLLMs）是否真正具备跨模态物理推理能力，还是仅依赖语言先验进行"幻觉式"推理。该基准通过时序物理状态预测任务，有效区分模型的真实物理理解与语言捷径依赖。实验发现当前开源MLLMs的物理推理能力仍处于初级阶段，对Physical AI和通用人工智能（AGI）的发展具有重要指导意义。

来源：arXiv 2026-06-06，链接：http://arxiv.org/abs/2606.07962v1

近年来，MLLMs在开放世界推理和多模态任务（如视觉问答、图像描述）中表现突出，但核心问题仍未解决：模型是真正融合跨模态信息构建物理推理链条，还是仅利用语言先验掩盖单模态依赖？若仅依赖语言先验，模型在机器人控制、物理模拟等需精确物理推理的场景中将受限。现有基准无法有效区分跨模态推理与语言捷径，导致评估结果难以反映真实能力边界。

ChronoPhyBench的核心设计是结合下一状态预测与视觉问答（VQA），强制模型进行跨模态推理。包含两种任务：

1. 单帧选择任务：从候选帧中选符合物理规律的下一状态，考验物体运动、碰撞等规律理解；
2. 多帧时序排序任务：对视频帧按物理时序排列，考验动态演化建模能力。

数据集规模：10,000+长视频片段，500万词元，涵盖刚体运动、流体动力学等多种物理场景，人工验证确保物理正确性与标注准确。

实验结果显示，当前开源MLLMs在ChronoPhyBench上表现远低于预期，即使传统VQA表现优异的模型也力不从心。错误模式具系统性：

• 倾向根据物体外观而非物理规律预测；
• 复杂动态场景中产生违背物理常识的推断。 这表明现有模型可能大量依赖语言先验而非真正物理理解。

ChronoPhyBench对Physical AI意义深远：

1. 提供鲁棒透明的评估框架，准确衡量物理推理能力；
2. 量化模型幻觉率，为自动驾驶、机器人操作等物理交互场景的可靠性评估提供依据；
3. 为AGI研究提供新视角——真正AGI需深刻理解物理世界，而非仅语言模式匹配。

未来研究方向：

1. 改进模型架构：探索融合时空信息与物理约束的架构，而非简单拼接视觉编码器与语言模型；
2. 引入物理先验：训练中显式加入物理规律约束，建立物理直觉表征；
3. 新训练策略：设计物理推理专属训练目标与课程学习；
4. 扩展评估维度：覆盖量子力学、相对论等更多物理领域，全面检验能力。