正文

MoTVLA：通过多模态Token嵌入激发VLA模型的空间推理能力

MoTVLA 是一个基于 Mamba 架构的 Vision-Language-Action 模型，通过高斯空间Tokenizer和深度感知思维链推理，解决了传统VLA模型缺乏显式空间验证机制的问题。在 LIBERO 基准测试中达到 90% 的平均成功率，同时保持单GPU实时推理速度。

VLAVision-Language-Action机器人学习空间推理Mamba高斯Tokenizer思维链机器人操作多模态学习LIBERO

发布时间 2026/04/15 12:42最近活动 2026/04/15 12:52预计阅读 2 分钟

章节 01

MoTVLA：增强VLA模型空间推理能力的创新架构导读

MoTVLA是基于Mamba架构的Vision-Language-Action（VLA）模型，通过高斯空间Tokenizer（GST）和深度感知思维链（DA-CoT）解决传统VLA模型缺乏显式空间验证机制的问题。在LIBERO基准测试中达到90%平均成功率，同时保持单GPU实时推理速度。

章节 02

传统VLA模型将视觉观测编码为扁平2D图像块Token，缺乏内在几何结构信息；添加单目深度仅提供距离信息，无法表达表面方向、几何置信度等关键空间属性，导致策略网络缺乏显式空间验证机制，高精度操作任务表现受限。

章节 03

高斯空间Tokenizer（GST）：将冻结的仿射不变深度估计和语义图像块特征转为3D高斯基元（含度量残差均值、对角对数协方差、学习不透明度），并通过空间注意力池化聚焦几何显著区域；2. 深度感知思维链（DA-CoT）：生成3D物体定位、抓取affordance接触几何、成对度量距离、粗略SE(3)路径点四种结构化空间思维；3. Mamba-SSM推理核心：融合GST Token、语言Token和CLIP特征；4. 流匹配动作专家：通过双重交叉注意力解码16时间步7自由度动作块。

章节 04

显式几何表示：3D高斯基元（各向异性）相比隐式特征学习更适合复杂几何场景；- 空间思维链：扩展CoT到空间推理，提升可解释性；- 性能平衡：LIBERO基准90%成功率+单GPU实时推理；- 消融实验：GST和DA-CoT独立贡献性能，组合产生超加性效果。

章节 05

精密操作任务：装配、抓取规划、工具使用、协作操作；- 可解释性机器人学习：分析推理链条、识别空间理解盲点；- 多模态学习新范式：连续几何信息（高斯场）与离散符号推理（思维链）融合，为自动驾驶、增强现实等领域提供借鉴。

章节 06

局限：依赖冻结深度估计（误差影响空间表示）、计算开销需优化、任务泛化待检验；未来方向：端到端高斯学习、动态场景扩展、跨机器人迁移、人机协作。

章节 07

MoTVLA通过GST和DA-CoT解决传统VLA空间推理局限，兼顾精度、效率与可解释性，开源实现为研究社区提供参考。随着机器人学习走向实际应用，此类方法将发挥重要作用。