Video-Zero：基于时序证据自进化的视频理解新方法

Video-Zero是一种无需人工标注的问答协同进化框架，核心在于通过Questioner发现信息丰富的时序证据片段并生成依赖该证据的问题，Solver学习回答并对齐证据。该方法在13个视频理解基准测试中持续提升多个视频大语言模型（Video VLM）骨干网络的性能，为视频理解领域提供了摆脱人工标注依赖的新路径。

视频理解需处理时间维度信息（动作演变、事件因果等），但现有Video VLM严重依赖昂贵的人工标注数据。自进化范式在文本领域已显潜力，但扩展到视频面临三大挑战：视频长度冗余、时间稀疏性（关键证据占比小）、动态变化；且简单迁移文本自进化方法会导致监督信号缺乏时序根基，无法真正增强时间推理能力。

Video-Zero采用双组件协同设计：

• Questioner：分析视频发现信息丰富的证据片段（基于视觉显著性、语义重要性、时间分布），生成必须依赖该片段的问题（如"拿起杯子前还是后喝水"）；
• Solver：回答问题并定位证据，训练目标含答案正确性与证据对齐；
• 协同循环：初始化→证据发现→问题生成→解答验证→反馈更新→迭代，双向反馈提升双方能力。

Video-Zero的关键技术包括：

1. 层次化时序证据表示：片段级（粗粒度事件区域）、帧级（细粒度定位）、跨帧关系（捕捉动作演变）；
2. 证据感知注意力机制：动态聚焦与问题相关的视频片段，提升推理效率；
3. 渐进式难度课程：从简单时间定位到复杂推理，确保稳定训练与基础能力掌握。

在13个基准测试中表现优异：

• 时间定位：ActivityNet Captions准确率提升15-20%，Charades-STA更准确定位动作边界；
• 长视频理解：MovieNet/YouCook2问答准确率提升25%+，有效过滤冗余；
• 视频推理：NEXT-QA/Causal-VidQA性能媲美监督学习，因果推理提升显著；
• 跨模型迁移：一致提升CLIP、VideoMAE、InternVid等骨干网络性能，验证范式价值。

目前局限：计算成本高（迭代过程开销大）、缺乏自动证据质量评估指标、未融合多模态信息（音频/字幕）、开放域泛化待验证。未来方向：优化计算效率、开发证据质量评估机制、扩展多模态融合、验证开放域泛化能力。

Video-Zero的核心启示：时序任务中监督信号的根基比难度更重要；协同进化突破单一组件局限；证明视频领域高质量无标注学习的可行性。该框架为视频理解摆脱人工标注依赖提供了可行路径，为自监督学习研究提供新思路，助力构建更强大的视频AI系统。