CLVG-Bench：视频模型多模态推理能力的系统性评估框架

CLVG-Bench是针对当前视频生成模型多模态推理能力空白的系统性评估框架。它引入上下文学习视频生成的新评估范式，通过自适应视频评估器揭示SOTA视频模型（如Sora、Runway Gen-3等）在物理推理、因果推理等方面的真实局限，推动视频生成评估从“质量导向”向“能力导向”转变。

当前视频模型评估主要聚焦视觉质量（如FID、FVD）和人类偏好评分，但无法检验模型对文本指令中逻辑关系、物理规律、因果推理的真正理解。例如，模型可能生成视觉连贯但违反物理规律（如球上坡加速）的视频。CLVG-Bench团队提出“上下文学习视频生成（CLVG）”范式，旨在评估模型模拟和推理真实世界动态的能力。

1. 上下文学习视频生成：打破传统“文本→视频”映射，要求模型根据上下文示例推理后续发展，更接近人类学习方式，检验内在理解而非表面模仿。
2. 自适应视频评估器：基于少量人工标注，动态调整评估策略，平衡人类判断准确性与自动评估可扩展性，解决开放域视频评估难题。

CLVG-Bench涵盖五大评估维度：

• 空间推理：物体位置、运动方向、空间关系（如物体从左向右移动并远离镜头）；
• 时间推理：事件顺序、持续时间、速度变化（如先慢后快的运动）；
• 物理推理：重力、摩擦力、碰撞等规律（如抛体抛物线轨迹）；
• 因果推理：事件因果关系（如下雨导致地面湿）；
• 组合推理：多维度综合能力（如空间+物理+因果的复杂场景）。每个维度设计从简单到复杂的测试用例。

通过CLVG-Bench评估，发现SOTA模型存在显著局限：

1. 物理规律理解不足：难以准确模拟运动轨迹、碰撞、重力等，相关任务表现低于人类水平；
2. 因果推理能力薄弱：仅捕捉事件时间顺序，无法建立真正因果联系；
3. 长程一致性缺失：生成长视频或多步骤推理视频时，逻辑矛盾概率随长度增加显著上升。这些表明模型更多依赖训练数据模式统计而非对世界规律的理解。

1. 单纯扩大模型规模和数据量无法解决推理缺陷，需结构化因果/物理标注的训练数据；
2. 视频理解与生成应深度融合，才能具备真正多模态推理能力；
3. 评估体系需与能力发展同步演进，CLVG-Bench为领域提供严谨方向。

目前CLVG-Bench代码和数据集正在准备发布，将开源完整评估代码与基准数据集。长远来看，CLVG-Bench推动视频生成评估从“质量导向”向“能力导向”转变，为娱乐、教育、仿真等领域视频模型的推理能力评估提供基础工具。