# Cambrian-P：相机姿态引导的视频多模态大模型 > 本文介绍Cambrian-P，一种通过引入相机姿态信号增强视频多模态大模型空间推理能力的方法。该方法为每帧视频添加可学习的相机Token和姿态回归头，在VSI-Bench等空间推理基准上取得4.5-6.5%的显著提升，并达到ScanNet流式姿态估计的最优水平。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-05-21T17:59:45.000Z - 最近活动: 2026-05-22T13:51:44.682Z - 热度: 140.1 - 关键词: Cambrian-P, 相机姿态, 视频多模态大模型, 空间推理, VSI-Bench, 姿态估计, 视频理解, 三维感知 - 页面链接: https://www.zingnex.cn/forum/thread/cambrian-p - Canonical: https://www.zingnex.cn/forum/thread/cambrian-p - Markdown 来源: ingested_event --- ## 被忽视的信号：相机姿态在视频理解中的价值\n\n当我们观看视频时，大脑并不仅仅将每一帧视为孤立的二维图像。相反，我们自动感知到视角的位置和朝向，并在心中构建一个持续存在的三维场景。相机姿态——即每个视点的位置和方向——定义了一个共享的空间坐标系，将不同帧的观察关联起来。然而，这一关键信号在现有的视频多模态大模型（MLLM）中却基本被忽视。\n\n当前的视频MLLM通常将帧序列作为独立的二维快照处理，丢失了帧与帧之间的几何关联。这种处理方式与人类感知形成鲜明对比：人类在观看视频时，会自动整合视角变化带来的空间信息，形成对场景几何结构的稳定理解。研究者认为，相机姿态的缺失是限制视频MLLM空间推理能力的关键因素之一。\n\nCambrian-P正是针对这一问题提出的解决方案。该方法将相机姿态重新引入视频理解流程，通过为每帧添加可学习的相机Token和姿态回归头，使模型能够显式地利用空间坐标信息。实验表明，这一简单但有效的改进带来了空间推理能力的显著提升。\n\n## 方法设计：相机Token与姿态回归头\n\nCambrian-P的核心设计包含两个关键组件：可学习的相机Token（camera tokens）和姿态回归头（pose regression head）。\n\n相机Token是为每一帧视频独立学习的特殊嵌入向量。与普通的视觉Token不同，相机Token专门编码该帧相机的空间位置和朝向信息。在模型处理视频时，相机Token与视觉Token一起输入Transformer架构，使模型能够在注意力机制中显式地访问和利用姿态信息。这种设计允许模型学习如何将相机姿态与视觉内容关联起来，形成空间感知的表示。\n\n姿态回归头则是一个轻量级的预测模块，接收模型内部表示作为输入，输出相机姿态参数的估计值。值得注意的是，这一设计具有双重功能：一方面，姿态回归头的监督信号帮助模型学习更好的姿态感知表示；另一方面，训练后的回归头本身可以作为一个姿态估计器使用。在ScanNet数据集上的测试表明，Cambrian-P的流式姿态估计性能达到了当前最优水平。\n\n此外，研究者还设计了一种精心策划的采样方案，确保模型在训练过程中接触到多样化的相机运动模式。这种采样策略对于学习鲁棒的空间推理能力至关重要，避免了模型对特定类型相机运动的过拟合。\n\n## 实验结果：空间推理基准的显著提升\n\nCambrian-P在VSI-Bench（Video Spatial Intelligence Benchmark）上取得了4.5-6.5%的性能提升。VSI-Bench是专门评估视频模型空间推理能力的基准测试，包含深度估计、相机姿态估计、三维场景理解等任务。在这一挑战性基准上的显著提升，证明了相机姿态信号对于空间推理的重要性。\n\n除了VSI-Bench，Cambrian-P还在八个额外的空间推理和通用视频问答基准上进行了测试，包括MSVD-QA、MSRVTT-QA、ActivityNet-QA等标准数据集。结果显示，相机姿态的引入不仅提升了空间推理任务的表现，对通用视频问答任务也有正面影响，表明空间感知能力与语义理解能力是相辅相成的。\n\n特别值得一提的是，Cambrian-P在ScanNet数据集上的流式姿态估计任务达到了当前最优（state of the art）水平。这一结果具有双重意义：首先，它验证了模型确实学会了准确估计相机姿态；其次，它展示了Cambrian-P作为一个副产品，可以直接用于姿态估计应用。\n\n## 野外视频的惊喜：伪标注姿态的迁移价值\n\n研究中最令人意外的发现之一涉及"野外视频"（in-the-wild video）的训练效果。研究者使用从野外视频中自动提取的伪标注姿态（pseudo-annotated poses）对模型进行训练，发现这种训练不仅提升了空间推理任务的表现，还改善了通用视频问答基准的成绩。\n\n这一发现具有重要启示：相机姿态信号的价值超越了纯粹的空间推理。即使在那些看似与空间几何无关的通用视频理解任务中，姿态信息也能提供有益的归纳偏置。这可能是因为姿态信息帮助模型更好地理解场景结构、物体关系和事件发生的物理环境，从而提升整体的视频理解能力。\n\n这一结果也降低了Cambrian-P方法的应用门槛。由于不需要昂贵的精确姿态标注，仅通过自动提取的伪标注即可实现性能提升，使得该方法可以方便地应用于大规模野外视频数据集。\n\n## 技术细节：采样策略与训练过程\n\nCambrian-P的成功不仅依赖于模型架构设计，还得益于精心设计的训练策略。研究者特别强调了采样方案的重要性：在训练过程中，需要确保模型接触到多样化的相机运动模式，包括平移、旋转、缩放等不同类型，以及不同的运动速度和加速度。\n\n这种多样化的采样策略防止了模型对特定类型相机运动的过拟合，确保学习到的空间表示具有足够的泛化能力。实验对比表明，使用简单随机采样策略训练的模型，其空间推理性能明显低于采用精心策划采样方案的版本。\n\n在训练目标方面，Cambrian-P采用了多任务学习框架，同时优化视频问答损失和姿态回归损失。两个任务的损失函数以固定权重相加，形成联合训练目标。这种多任务设置使模型在学习回答语义问题的同时，保持对空间信息的敏感性。\n\n## 与相关工作的比较\n\n在视频MLLM领域，已有一些工作尝试引入几何或空间信息。例如，某些方法使用深度估计作为辅助任务，另一些方法显式建模三维场景表示。与这些方法相比，Cambrian-P的优势在于其简洁性和有效性。\n\n相机姿态是一个紧凑的六自由度表示（三个平移参数加三个旋转参数），相比稠密的深度图或完整的三维场景表示，计算开销显著降低。同时，姿态信息直接编码了帧与帧之间的几何变换关系，为跨帧推理提供了明确的约束。\n\n实验对比表明，在相同的模型规模和训练数据条件下，Cambrian-P的空间推理性能优于基于深度估计的辅助学习方法。这一结果支持了研究者的核心论点：相机姿态是视频理解中一个被低估但极其有效的信号。\n\n## 局限与未来方向\n\n尽管Cambrian-P取得了显著进展，研究团队也指出了当前工作的局限。首先，方法目前主要关注相机外参（位置和朝向），对于相机内参（焦距、主点、畸变等）的建模尚不充分。完整的相机模型可能进一步提升空间推理的准确性。\n\n其次，当前方法假设相机姿态是已知的（在训练时）或可估计的（在测试时）。对于姿态信息完全缺失或极度不准确的场景，方法的适用性受到限制。开发能够从视频中自监督学习姿态表示的方法，是未来研究的重要方向。\n\n此外，相机姿态与场景动态内容的交互关系也值得深入探索。当前方法主要将姿态作为静态几何信息处理，而对于动态场景（如移动物体、变形表面），姿态信息与内容动态的联合建模可能带来进一步的性能提升。\n\n## 结语\n\nCambrian-P的研究重新确立了相机姿态在视频理解中的基础地位。通过简单但有效的设计——可学习的相机Token和姿态回归头——该方法在多个基准上实现了空间推理能力的显著提升，并展示了姿态信号对通用视频理解的积极影响。\n\n这一工作提醒我们，在追求更大规模数据和更强计算能力的同时，不应忽视问题的几何本质。相机姿态作为连接二维观察与三维世界的桥梁，是视频理解模型理解物理场景的关键。Cambrian-P为将几何先验融入视频MLLM提供了一个可扩展的范式，有望启发更多将空间智能注入多模态模型的研究。