CollabVR：视觉语言模型与视频生成模型的协同推理新范式

CollabVR通过将视觉语言模型（VLM）与视频生成模型（VGM）闭环耦合，解决单一模型在长程任务中的漂移和模拟错误问题，实现更可靠的目标导向视频推理。其核心是构建VLM与VGM的闭环协作架构，让两者各展所长（VLM负责推理决策与验证，VGM负责视觉模拟），通过验证-反馈机制提升复杂任务完成可靠性。

在目标导向视频任务中，单一模型存在能力错配：VLM擅长逻辑推理但视觉模拟薄弱，VGM能渲染短时视频却缺乏推理能力。这导致两种失败模式：长程漂移（多步骤任务难以保持一致性）、中段模拟错误（局部错误向后传播恶化后续帧）。

CollabVR创新点在于闭环协作架构：VLM规划即时动作，VGM渲染结果，VLM同时验证生成片段质量，验证失败则动态选择恢复策略。包含两个核心模块：M1渐进规划模块（自适应子步骤选择，应对长程漂移）、M2验证再生模块（诊断失败后更新提示并重采样，处理中段模拟错误）。

每个时间步执行流程：1. VLM生成动作；2. VGM渲染视频片段；3. VLM验证片段并诊断失败模式；4. 根据结果路由到M1或M2；5. 迭代直至任务完成或预算上限。该流程避免传统单向执行模式，确保每步有验证信号。

代码实现支持Veo3.1、VBVR-Wan2.2等主流VGM后端，推理管道含规划器/验证器提示模板及视频推理优化。评估将在Gen-ViRe、VBVR-Bench等基准进行，覆盖简单到复杂任务场景，全面评估推理能力与鲁棒性。

CollabVR代表多模态模型协作新方向，证明不同能力模型可互补协作而非叠加。其“专家协作”范式比全能模型更实用。对视频领域提供新求解思路，有望扩展到机器人操作、虚拟环境交互等场景。