LMM-Track4D：多模态大模型赋能4D物体追踪与轨迹推理

NeurIPS 2026开源项目LMM-Track4D将大语言模型与多视图视觉融合，实现端到端的4D物体追踪和轨迹推理，为多模态时空理解开辟新方向。该项目突破传统3D检测追踪局限，通过视觉-语言-几何三模态融合架构赋予系统轨迹推理能力，在自动驾驶、机器人导航等领域具有广泛应用前景。

4D物体追踪需应对三大挑战：1.多视图融合：单摄像头视角有限，需建立跨视角一致性关联；2.时间连续性建模：物体遮挡或运动模糊时维持追踪连贯性；3.轨迹推理：传统方法仅输出离散序列，真实应用需高层次理解物体意图、未来轨迹及交互关系，这是大语言模型的优势所在。

LMM-Track4D架构包含三模块：1.多视图视觉编码器：改进ViT+视角感知交叉注意力，缓解ID切换问题；2.4D时空特征聚合：稀疏卷积+时序Transformer混合结构，通过轨迹查询机制更新物体表示；3.大语言模型推理头：将4D特征转为结构化文本输入LLM，输出追踪结果及自然语言轨迹分析（如碰撞预测、行人行为推理）。

核心技术亮点：1.轨迹感知对比学习：跨视图跨时间特征为正样本，学习鲁棒身份表示；2.时序自监督预训练：随机遮挡输入重建场景，从未标注视频获取时空先验；3.端到端可微分架构：全模块梯度联合优化，视觉与语言模块协同进化。

LMM-Track4D在nuScenes、Waymo等数据集表现优异：1.多目标追踪（MOT）达SOTA，ID切换率降低约35%；2.轨迹推理任务（未来轨迹预测、异常检测、场景描述）显著优于传统方法，人工评估显示描述准确性与流畅性高。

应用场景：自动驾驶（理解交通参与者意图）、机器人导航（预测人类行为）、体育分析（无设备动作捕捉）、智能监控等。局限性：计算复杂度高、极端场景预测偏差。未来方向：轻量级架构实现实时应用、无监督/半监督学习降标注依赖、扩展至群体行为分析等复杂场景。