空间与三维世界模型全景指南：从认知地图到具身智能

原作者/维护者：Masoud Jafaripour 来源平台：GitHub 原始标题：Awesome-Spatial-and-3D-World-Models 原始链接：https://github.com/Masoudjafaripour/Awesome-Spatial-and-3D-World-Models 发布时间：2026年6月14日

本文介绍了一个系统整理空间与3D世界模型研究资源的开源库，涵盖空间记忆、认知地图、预测推理、规划决策和具身智能等核心方向，为研究者和开发者提供该领域的完整技术图谱。

人类智能的核心特征之一是对空间的理解与运用，基于内在"世界模型"实现导航、预测、规划等能力。传统AI系统在空间任务中表现笨拙，缺乏对世界结构的内在理解。空间与三维世界模型研究正赋予机器类似人类的空间认知能力，为机器人技术和通用AI发展提供关键组件。

由Masoud Jafaripour维护的Awesome资源库系统整理了该领域的论文、数据集、基准测试和开源代码，采用以问题为导向的分类体系：

1. 空间世界模型：拓扑表示（节点连接）、度量表示（精确几何）、混合表示（分层架构）；
2. 三维世界模型：显式表示（体素/点云）、隐式表示（NeRF/占用网络）、语义三维表示（几何+语义）；
3. 视频世界模型：自回归模型、扩散模型、世界模型与控制器结合；
4. 物理世界模型：基于物理引擎的模型、基于学习的物理模型。

世界模型的核心能力包括：

• 空间记忆：存储/回忆空间经验，解决有限存储、部分可观测性等挑战，资源库收录网格/图/端到端记忆网络；
• 认知地图：抽象环境空间结构，编码位置关系、路径属性等，需解决感知提取、不确定性处理等问题；
• 预测与推理：前向预测（环境演化）、逆向推理（原因推断）、反事实推理（策略评估）；
• 规划与决策：基于模型的强化学习（如MuZero）、分层规划（高低层结合）。

具身智能通过身体交互学习推理，世界模型是核心组件：

• 视觉-语言-行动模型：整合视觉、语言、动作控制（如RT-2、PaLM-E），需解决多模态对齐、指令歧义等问题；
• 仿真到现实迁移：仿真训练后迁移到真实机器人，面临域差异挑战，资源库收录域随机化、自适应等技术。

资源库整理了关键数据集与基准测试：

• 室内场景：Matterport3D、ScanNet（三维扫描数据）；
• 机器人操作：RLBench、CALVIN（操作任务数据）；
• 导航基准：Habitat、iGibson（仿真环境与评估协议）。

应用前景包括机器人（环境理解/规划）、自动驾驶（安全决策）、虚拟现实（沉浸式体验）。但仍面临挑战：可泛化世界模型、开放世界复杂性、模型安全性与可解释性，需跨学科合作解决。

空间与三维世界模型研究是理解智能本质的窗口，人类智能依赖物理世界理解，AI也需发展内在世界模型。该资源库为研究者提供入口，随着技术进步，世界模型将成为AI标准组件，为通用AI铺路。