FlashVID：无需训练的高效视频大语言模型加速方案

FlashVID是一种无需训练的视频大语言模型加速方案，核心采用树状时空Token合并策略，在不重新训练模型的前提下提升推理效率数倍且保持高质量输出。该方案为ICLR 2026 Oral论文，已开源，具有训练无关、部署灵活等优势，适用于各类预训练视频大语言模型。

视频大语言模型（Video LLMs）近年进展显著，但面临视频时空信息海量导致推理计算开销庞大的挑战。传统加速方法需重新训练模型，成本高且可能影响性能。FlashVID的核心洞察是：在推理阶段优化Token处理方式，通过合并冗余时空Token降低计算复杂度，同时不牺牲质量。

FlashVID的核心创新是树状结构的时空Token合并策略：

空间维度合并

识别帧中视觉冗余，通过树状聚类合并相似视觉Token，减少每帧Token数量。

时间维度压缩

利用视频时间连续性，在不同时间尺度动态合并冗余Token，动态区域保留细节，静态区域激进压缩。

训练无关特性

完全在推理阶段工作，无需额外训练成本，可应用于任何预训练视频LLM，无训练偏差，部署灵活。

实现细节

包含Token重要性评估模块（基于注意力机制）、树状构建算法，采用自适应阈值机制：根据视频内容和任务类型调整合并激进程度（如动作识别保守，高层语义理解激进）。

FlashVID作为ICLR 2026 Oral论文，经严格实验验证：在保持输出质量的同时，推理速度提升数倍。加速效果随视频长度和分辨率增加更显著，对长视频、高分辨率输入的计算节省呈非线性增长，适合复杂视频任务。

FlashVID的应用场景包括：

• 实时视频理解系统：提升用户体验；
• 云端视频服务：显著节约成本；
• 移动设备：实现复杂视频AI功能。

其训练无关特性使其通用性强，适用于任何Transformer架构的视频LLM，降低先进视频AI部署门槛。

FlashVID已在GitHub开源，提供核心算法实现、文档和示例，方便复现与扩展。未来可结合硬件优化、量化技术等进一步提升效率。随着视频内容占比增长，此类高效推理技术将愈发重要。