InstructVideo：面向多模态大语言模型的推理驱动视频对象分割数据集

InstructVideo是一个以推理为中心的视频对象分割数据集，专为多模态大语言模型设计，包含1,788个视频、6,112个问答对和3,603个对象标注，要求模型具备世界知识和时序理解能力才能完成复杂推理任务。

• 原作者/维护者：zwusy
• 来源平台：GitHub
• 原始标题：InstructVideo
• 原始链接：https://github.com/zwusy/InstructVideo
• 来源发布时间/更新时间：2026-06-07

视频理解是计算机视觉领域最具挑战性的任务之一。与静态图像不同，视频包含时间维度信息，要求模型不仅要理解每一帧的内容，还要理解帧与帧之间的关系、动作的时序演变、物体的运动轨迹等复杂信息。

传统的视频对象分割（Video Object Segmentation, VOS）数据集主要关注像素级别的掩码预测，任务形式相对简单。然而，随着多模态大语言模型（Multimodal Large Language Models, MLLMs）的兴起，研究界开始探索更具挑战性的视频理解任务——不仅要求模型分割出目标对象，还要求模型理解复杂的指令、进行多步推理，并给出符合逻辑的文字回答。

InstructVideo正是为填补这一研究空白而诞生的。

InstructVideo是一个以推理为中心的视频对象分割数据集，专门设计用于评估和促进多模态大语言模型在复杂视频理解任务上的研究。与现有数据集不同，InstructVideo强调推理能力——模型需要具备世界知识和时序理解能力才能正确完成任务。

• 视频数量：1,788个视频片段
• 问答对：6,112个QA对
• 对象数量：3,603个目标对象
• 多对象样本平均实例数：3.77个
• 单样本最大实例数：16个

这些数据表明InstructVideo不仅规模可观，而且特别关注多对象场景的复杂性，这是真实世界视频理解中的常见挑战。

InstructVideo最显著的特点是其推理为中心的查询设计。传统的VOS数据集通常使用简单的描述性指令，如"分割出红色的车"。而InstructVideo的查询要求模型进行多步推理，例如：

• "找出那个在追逐球之后摔倒的男孩"
• "分割出那个先拿起书然后走向窗户的人"
• "哪个对象在视频后半段消失了？"

这类查询要求模型理解动作序列、因果关系、时间顺序等高级语义信息，而不仅仅是像素级别的匹配。

数据集同时包含单对象分割和多对象分割任务。多对象场景特别具有挑战性，因为：

• 需要区分多个相似对象（如一群人中特定的某个人）
• 需要跟踪多个对象之间的交互关系
• 需要处理遮挡、重叠等复杂情况

InstructVideo的多对象样本平均包含3.77个实例，最高达16个，为研究多对象推理提供了丰富的测试场景。

与仅要求掩码预测的传统数据集不同，InstructVideo要求模型给出逻辑性的文字回答。这意味着模型不仅要"看到"正确的对象，还要"理解"问题的意图，并用自然语言解释其推理过程。这种设计更接近人类对视频的理解方式，也为评估MLLM的可解释性提供了新的维度。