SAMA：多轮指代式视频对话的大语言模型新框架

SAMA是NeurIPS 2025收录的多轮指代式视频对话大语言模型框架，旨在解决视频理解中时空语义理解与精准指代定位统一的核心挑战。该项目通过构建高质量数据集、创新模型架构及综合评估基准，形成完整技术体系，显著提升视频大语言模型的细粒度时空理解能力，代码将于近期开源。

当前视频大语言模型（Video LMMs）在细粒度时空理解上存在不足，核心挑战包括视频指代理解（语义信息）与视频定位（对象区域分割）两个维度。现有方法多割裂处理这两个任务，限制了统一交互能力发展；领域瓶颈为缺乏高质量统一视频指令数据及综合评估多轮时空指代对话能力的基准测试。

SAMA的核心贡献及技术实现：

1. SAMA-239K数据集：含23.9万样本、1.5万视频，支持联合学习指代理解、定位、多轮对话任务；
2. 模型架构：融合时空上下文聚合器（捕捉时空依赖）与Segment Anything Model（SAM，精准像素定位），实现语义理解与定位协同增强；
3. SAMA-Bench基准：5067个问题、522个视频，评估多轮对话上下文一致性与准确性；
4. 技术细节：基于PyTorch，提供1B/4B/8B多尺度模型变体，整合LVVIS等公开数据集并开源标注文件。

实验结果表明：

• 在SAMA-Bench基准上显著超越现有视频大语言模型；
• 在通用视频定位基准达到最先进水平（SOTA），泛化能力强；
• 在标准视觉理解任务保持竞争力，未牺牲基础能力。

应用场景包括智能视频监控（对象追踪）、视频创作（指令编辑）、教育（对话式理解）、视障辅助（内容描述）。未来方向：扩展3D/全景视频模态、提升实时处理能力、结合机器人视觉系统；代码近期完整开源。

SAMA项目统一视频指代理解与定位能力，推动视频多模态理解研究，为工业应用提供技术支撑。开源后将促进社区创新，催生更多视频AI应用场景，对领域发展产生深远影响。