LLMPhy：将大语言模型与物理引擎结合，实现可识别参数的物理推理

三菱电机研究实验室开源的LLMPhy框架，通过黑盒优化将GPT与MuJoCo物理引擎结合，使大模型能够估计物体质量、摩擦系数等隐式物理参数，构建真实场景的数字孪生。该框架采用两阶段分解策略与迭代反馈循环，支持零样本学习，并配套LLMPhy-TraySim基准数据集，为机器人操作、自动驾驶等场景提供新的技术路径。

背景：物理推理的隐式参数难题

在机器人操作、自动驾驶碰撞避免等现实应用中，AI系统不仅需要理解"物体会怎样运动"，更需要准确估计"物体有多重"、"表面摩擦系数是多少"等隐式物理参数。然而，大多数基于学习的物理推理方法都忽略了这一关键挑战——参数识别。

没有准确的参数估计，即使是最先进的视觉模型也无法在物理引擎中重建真实场景的数字孪生。这限制了AI系统在真实世界物理交互中的应用能力。

LLMPhy的核心架构

LLMPhy是由三菱电机研究实验室（MERL）提出的黑盒优化框架，桥接大语言模型（LLM）内嵌的物理知识与MuJoCo物理引擎实现的世界模型。

该框架采用两阶段分解策略：

第一阶段：连续物理参数估计 系统从多视角视频序列提取物体运动轨迹，利用GPT生成Python程序估计质量、摩擦系数等连续参数，在MuJoCo中执行并计算重建误差。

第二阶段：离散场景布局估计 获得物理参数后，估计场景中物体的空间位置、朝向等离散布局参数，完成完整场景重建。

迭代优化机制

LLMPhy的核心创新在于迭代反馈循环：每次参数估计后，将重建误差反馈给LLM，提示改进估计值。这种"生成-执行-反馈-优化"循环使模型逐步收敛到准确参数。

整个过程完全零样本，无需针对特定物体或场景微调，仅依靠预训练物理常识与视觉输入完成推理。

LLMPhy-TraySim基准数据集

由于现有物理推理基准很少考虑参数可识别性，研究团队构建了LLMPhy-TraySim数据集。该数据集用于评估零样本设置下的物理推理能力，包含多种物体配置、推杆交互场景和相应物理参数真值。

数据集支持两阶段评估：分别测试模型对物理参数的估计能力和对场景布局的重建能力。

技术实现细节

项目基于MuJoCo 2.1.0物理引擎和mujoco_py绑定实现。代码提供完整Python API接口，包括：

• LLM与MuJoCo之间的交互层
• 两阶段优化使用的完整提示模板
• 生成方案与真值的自动评估脚本
• 数据集生成工具（可创建新的模拟样本）

对于Apple Silicon Mac用户，项目文档提供详细的Rosetta兼容环境配置指南，解决mujoco_py在ARM架构上的编译问题。

应用前景与意义

LLMPhy展示了符号化物理知识与神经推理能力结合的新范式，特别适用于：

• 机器人操作规划：估计物体重量和摩擦特性，优化抓取策略
• 自动驾驶场景理解：预测碰撞后的物体运动轨迹
• 物理仿真与数字孪生：从视觉观测自动构建可交互的虚拟场景
• 科学实验分析：从视频数据中反推物理系统参数

该框架证明LLM不仅可以回答物理问题，还能主动参与物理参数的识别与优化过程，为具身智能（Embodied AI）的发展提供新的技术路径。

使用与扩展

开发者可以通过修改提示模板来适配不同的物理推理任务，或替换底层物理引擎（如从MuJoCo迁移到Isaac Gym）。项目的模块化设计使得核心迭代优化逻辑与具体物理模拟实现解耦，便于在不同应用场景中复用。