VEBench：面向真实视频编辑场景的大型多模态模型评估基准

VEBench是首个系统性评估大型多模态模型（LMMs）视频编辑理解和操作推理能力的基准，包含3.9K高质量编辑视频（总时长超257小时）和3080人工验证问答对。实验揭示当前模型与人类级编辑认知存在显著差距，为智能视频编辑系统发展指明方向。

视频编辑融合技术、艺术与叙事，需多模态推理能力（选择素材、确定时间线位置、组合成连贯叙事）。现有LMMs在通用视频理解（识别物体/动作、回答问题）上有进展，但缺乏编辑所需的“选择”和“组合”能力；现有基准仅关注被动理解，未覆盖主动创作需求。

基准设计

VEBench含两大任务：

1. 技术识别：测试模型对7种核心编辑技术（跳切、匹配剪辑等）的识别与理解能力；
2. 操作模拟：要求模型从候选素材中选择合适片段、定位时间线位置并解释理由。

数据集与标注

• 3.9K+真实场景视频（纪录片、短视频等）；
• 3080人工验证问答对；
• 三轮标注流程：AI辅助预标注→专家人工审核修正→交叉验证与一致性检查。

技术识别任务

• 最佳模型（Gemini-2.5-Pro）平均准确率65%，人类专家92%（差距27个百分点）；
• 易识别技术：跳切、叠化（视觉特征明显）；难识别：匹配剪辑、L/J剪辑（需语义或音视频关联理解）。

操作模拟任务

• 最佳模型选择准确率45%、定位准确率38%，人类专家分别为88%、85%。

错误模式

时间推理失败、叙事连贯性缺失、意图理解偏差、上下文利用不足。

1. 感知到创作的鸿沟：需目标导向推理、反事实思维、审美判断；
2. 多模态整合复杂性：需综合视觉连贯性、音频设计、叙事节奏、情感弧线；
3. 长程时间推理：需考虑过去叙事积累、当前效果及未来走向，考验模型记忆与规划能力。

1. 编辑知识形式化：构建结构化知识库、学习专业编辑知识、转化隐性知识；
2. 创造性推理能力：开发创意评估机制、探索人机协作模式、融入人类审美偏好；
3. 交互式编辑助手：提供候选片段建议、解释推理过程、从反馈中学习；
4. 多智能体编辑系统：不同智能体专注子任务（素材选择、音频设计等），人类协调团队。

VEBench揭示LMMs在视频编辑能力上与人类的差距，既是挑战也是机遇：

• 对研究者：推动多模态推理、创造性AI、长程时间理解等前沿研究；
• 对产业界：降低专业制作门槛、赋能创作者、自动化内容生产； VEBench通过高质量评估数据与基准，助力智能视频编辑技术进步，目标是让AI掌握“transformative”的编辑力量。