PAR3D：让大模型真正"看懂"三维世界的部件级理解框架

PAR3D是一个统一的三维多模态大语言模型框架，突破现有3D-MLLM仅关注物体级别的局限，实现对3D场景中物体及其部件的细粒度理解与推理，为具身智能和机器人交互奠定关键技术基础。

近年来，多模态大语言模型（MLLM）在二维图像理解领域进展显著，但3D-MLLM普遍停留在物体级别理解层面，无法处理如"椅子靠背高度是否合适""抽屉把手位置"等细粒度问题。而具身智能和机器人应用需部件级理解能力，这是现有技术的瓶颈。

PAR3D的技术实现基于三大创新：

1. ScenePart数据集：提供部件级标注和语言指令，为模型学习细粒度概念提供监督信号；
2. 部件感知的三维表征学习：捕捉物体内部部件的语义信息，理解部件组成与空间关系；
3. 分层分割查询生成机制：通过物体-部件层次化查询，先定位物体再细化到部件，提升细粒度分割准确性。

PAR3D在多个基准测试中表现优异：

• 部件级视觉问答和指代分割任务上，相比现有方法大幅提升性能；
• 同时保持物体级视觉-语言任务的表现，实现粗粒度与细粒度理解的兼容。

PAR3D为多领域带来新可能：

• 具身智能与机器人操作：支持拧瓶盖、按按钮等部件交互指令；
• AR/VR：实现虚拟物体精细交互（如调整台灯灯罩角度）；
• 三维内容创作：用自然语言精确操控场景部件，提升创作效率。

未来研究可沿以下方向深化：

• 动态场景理解：扩展到包含运动物体的动态三维场景；
• 跨模态部件对齐：提升语言部件描述与视觉表征的对齐精度；
• 真实世界泛化：将合成数据中学到的能力迁移到真实复杂场景。

PAR3D通过部件感知表征学习和分层查询机制，突破传统物体级理解局限，为具身智能和三维交互应用奠定基础。未来AI系统有望像人类一样真正"看懂"三维世界的丰富细节。