SlotVTG：面向对象的视频时序定位适配器，显著提升跨域泛化能力

SlotVTG框架通过轻量级对象中心适配器，解决多模态大语言模型（MLLMs）在视频时序定位（VTG）任务中的跨域泛化难题。该方法无需重新训练整个模型，即可引导MLLMs实现对象级视觉推理，显著提升域外数据的泛化能力。

视频时序定位（VTG）是多模态理解核心任务，需根据自然语言描述定位视频中事件的时间边界。多模态大语言模型（MLLMs）在该任务表现出色，但存在粗粒度识别难以支撑细粒度时间理解的问题。传统任务特定微调易让模型记住数据集捷径，导致域外（OOD）数据泛化能力极差，如跨数据集性能大幅下降。

对象中心学习通过分解场景为实体级表征，让模型关注具体对象及交互，而非依赖统计相关性预测，为解决跨域泛化提供方向。但现有对象中心方法需从头运行多阶段训练流程，计算资源与时间成本高昂，限制了实际应用普及。

核心技术机制

1. 槽位分解：通过槽位注意力机制将视觉令牌分解为抽象槽位，每个槽位代表潜在对象或概念。
2. 序列重建与对象先验：用分解槽位重建原始视觉序列，引入自监督视觉模型的对象性先验，鼓励槽位形成语义连贯的聚类（对应真实物理对象）。

架构优势

• 即插即用：直接插入预训练MLLM，无需修改原有权重
• 计算高效：训练成本远低于重新训练多阶段流水线
• 可解释性强：槽位表征直观反映模型关注对象

研究团队在标准VTG基准数据集上的跨域评估结果显示：

1. 跨域泛化提升：面对域外测试集，配备SlotVTG的模型鲁棒性更强，定位更准确
2. 域内性能保持：在提升泛化能力的同时，域内性能与原始模型相当
3. 低开销：引入的计算开销极小，适用于资源受限场景

SlotVTG的技术意义与应用前景包括：

1. 降低对象中心方法采用门槛，加速相关研究进展
2. 增强MLLMs真实场景可靠性，减少特定领域标注数据需求
3. 设计理念可推广到视觉问答、视频字幕生成等其他多模态任务

SlotVTG仍存在需探索的方向：

1. 槽位数量自适应选择：根据视频复杂度动态调整槽位数量
2. 融合更丰富先验知识：引入动作、场景等维度的先验
3. 长视频处理优化：高效处理含大量对象和复杂时间结构的长视频