BeyondSingleObject：让大语言模型理解三维世界中的物体关系

介绍CVPR 2026 Findings成果BeyondSingleObject项目，由Kohsuke Ide等研究者开发，通过Patch-Interaction Transformer扩展PointLLM实现多物体点云的关联推理，支持位置关系、形状配对和变化描述等复杂3D理解任务。项目源码及主页已开源，旨在解决现有3D-LLM聚焦单物体场景的局限，推动3D大模型向多物体关联推理发展。

三维视觉理解是计算机视觉核心挑战，PointLLM等模型在单物体点云理解取得进展，但真实场景多物体关系（空间位置、功能配对、形态变化）理解至关重要。现有3D-LLM缺乏多物体关联推理能力，制约机器人导航、AR、工业装配等应用。BeyondSingleObject项目旨在突破这一瓶颈，首次系统性探索大语言模型对多物体点云关系的理解。

项目提出Multi-3DLLM模型，基于PointLLM扩展，核心创新为Patch-Interaction Transformer模块，引入跨物体注意力机制，建模不同物体token间的关联。训练采用两阶段策略：先在PointLLM数据预训练，再在MO3D、Shape Mating、Change Captioning混合数据联合微调，保留单物体能力同时获得多物体推理技能。

构建三大多物体3D理解任务基准：1. MO3D数据集（位置关系、比较性问答等）；2. Shape Mating任务（几何配对）；3. Change Captioning任务（差异描述）。数据集包含70K复杂指令和660K简要描述数据，兼容PointLLM格式，可通过Hugging Face CLI下载标注及点云数据（来自Objaverse、Thingi10K等）。

提供8 GPU联合微调脚本，支持多节点配置；推理针对不同任务有相应配置（如Shape Mating启用多轮选择，Change Captioning调整生成参数）。评估采用多种指标：GPT-4o-mini作为LLM评估模型，传统NLP文本重叠指标，ModelNet40分类遵循PointLLM协议。

1. 范式转变：从单物体到多物体关联推理，标志3D大模型向场景级理解迈进；2. 跨模态融合：Patch-Interaction Transformer为跨模态任务提供借鉴；3. 应用前景：机器人操作、AR、工业质检、3D内容创作等领域直接受益。

当前局限：数据集规模小（160-800样本）、英语为主、合成数据多，泛化能力受限。未来方向：扩大真实场景数据集、动态场景理解、跨模态深度对齐、模型压缩与边缘部署优化。