MMPhysVideo：通过联合多模态建模提升视频生成的物理合理性

MMPhysVideo针对视频扩散模型（VDMs）存在的物理不一致性问题，提出联合多模态建模方案：将语义、几何和时空轨迹感知线索统一为伪RGB格式，采用双向控制教师架构解耦RGB与感知处理，并通过知识蒸馏实现高效推理。该方法在多个基准上同时提升了视频生成的物理合理性与视觉质量，为解决视频生成的物理一致性困境提供了新范式。

视频扩散模型（VDMs）虽能生成视觉惊艳内容，但存在根本性物理不一致问题：仅依赖像素级重建训练，模型学会“看起来像什么”却未掌握“物理上应该如何变化”。实际生成中表现为物体凭空消失/出现、碰撞动量传递不合理、流体违背连续性原理、重力效应被忽视等，严重限制其在真实感场景的实用价值。

MMPhysVideo首次将物理合理性作为可扩展目标引入视频生成，核心洞察是物理规律蕴含在语义、几何和时空轨迹等多层次感知线索中。框架将异构感知线索编码为统一“伪RGB”格式，优势包括：1. 统一表示便于联合学习；2. 无需显式物理引擎，端到端从数据学习物理规律；3. 可扩展性强，随数据量增加学习更丰富物理现象。

双向控制教师架构解决跨模态干扰问题：并行分支解耦RGB与感知处理，零初始化控制链接逐步学习像素级一致性，双向控制形成闭环优化。知识蒸馏实现高效推理：将教师模型物理先验通过表示对齐传递给单流学生模型，推理时仅需单路径，降低计算成本且零额外开销。

MMPhysPipe是构建物理丰富多模态数据的可扩展流水线：采用视觉证据链规则引导的VLM流程（物理主体定位→多粒度感知提取→质量验证），结合VLM泛化能力与专家模型精确性；可扩展处理刚体动力学、流体动力学、弹性变形、重力摩擦等多种物理现象，保证数据覆盖广度与质量。

MMPhysVideo在权威基准上表现优异：物理合理性方面，物体运动连续性、碰撞响应正确性、长期时间一致性显著改善；视觉质量上，FID、FVD等指标达现有最佳水平，证明物理建模与视觉优化可相互促进。对比纯像素方法物理合理性质的飞跃，对比显式物理引擎方法保持端到端灵活性。

应用价值：影视游戏制作减少人工调整、机器人仿真虚拟环境训练、VR提升沉浸感、科学可视化辅助理解、自动驾驶仿真场景测试。局限：依赖训练数据覆盖、极端物理条件生成质量下降、仅学习统计相关性而非因果定律。未来方向：结合显式物理约束的混合方法、少样本物理概念学习、可解释物理推理机制。

MMPhysVideo通过伪RGB统一表示、双向控制教师架构、知识蒸馏等核心技术，首次实现视频生成物理合理性的可扩展提升。证明无需显式物理引擎，可通过深度学习从数据习得物理规律，为视频生成及其他物理推理AI应用提供新思路。随着技术发展，物理合理性将成为专业级视频生成工具的关键标准，MMPhysVideo为此奠定重要基础。