BoxTuning：通过视觉提示直接注入目标边界框，重塑视频多模态大模型的物体理解范式

BoxTuning提出一种创新视觉提示方法，通过将彩色边界框和轨迹轨迹直接渲染到视频帧，解决传统文本坐标范式的模态不匹配问题。该方法实现87-93%的文本token削减，同时保持完整时间分辨率，在五个视频问答基准测试中超越现有基线，为视频多模态大模型的物体理解提供新范式。

视频问答（Video QA）需模型具备精细物体级时空理解能力，但现有多模态大语言模型（MLLMs）采用整体编码策略，缺乏显式物体定位机制。为弥补缺陷，近期研究将边界框坐标序列化为文本token输入，但存在模态不匹配问题：一是坐标序列token成本高，迫使时间下采样；二是动态信息丢失，影响对运动特性的理解。

BoxTuning直接将物体时空信息注入视觉模态：

1. 彩色边界框渲染：为每个物体赋予独特颜色，半透明矩形框标注在原始帧上，保留视觉上下文；
2. 轨迹轨迹编码：关键帧上用渐变色线条展示运动路径，直观编码方向、速度（长度/密度）、加速度（曲率变化）；
3. 极简文本图例：仅保留颜色-物体名称映射（如“红色=小球A”），削减87-93%文本token。

BoxTuning的优势体现在：

1. 模态对齐自然性：视觉信息通过视觉通道传递，符合人类感知方式；
2. 时间分辨率完整：无需时间下采样，保留帧间细微运动信息；
3. 计算效率优化：减少文本token降低语言模型负担，缩短上下文窗口，专注高层次推理。

研究团队在五个视频问答基准测试BoxTuning：CLEVRER（物理推理）、Perception Test（基础感知）、STAR（时空推理）、NExT-QA（长视频理解）、IntentQA（意图理解）。结果显示，BoxTuning在空间导向任务显著超越文本坐标基线，推理密集型任务几乎消除传统方法的准确率下降。

BoxTuning为多模态模型设计带来启示：

1. 范式转换必要性：尊重模态特性，避免强行转换信息导致的复杂与损失；
2. 视觉编码潜力：视觉通道信息密度高于文本，充分利用可提升效率；
3. 动态信息显式建模：通过轨迹轨迹将时序信息空间化，为处理时序数据提供新思路。

BoxTuning仍有开放问题：

1. 复杂场景扩展性：多物体时彩色边界框可能视觉混乱；
2. 多模态融合：需扩展到音频、触觉等其他感知通道；
3. 端到端学习：探索让模型自主学习视觉提示生成。