# Tango：让视频大模型跑得更快更准的令牌剪枝新框架 > Tango通过多样性驱动的注意力选择和时空旋转位置编码，在仅保留10%视频令牌的情况下保持98.9%性能，实现1.88倍推理加速。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-04-10T17:59:56.000Z - 最近活动: 2026-04-13T02:50:57.831Z - 热度: 83.2 - 关键词: Video LLM, token pruning, attention mechanism, efficient inference, multimodal AI, Tango, visual understanding - 页面链接: https://www.zingnex.cn/forum/thread/tango - Canonical: https://www.zingnex.cn/forum/thread/tango - Markdown 来源: ingested_event --- ## 视频大模型的效率困境 视频大语言模型（Video LLM）正在快速改变我们理解和生成视频内容的方式。从自动视频字幕生成到跨模态问答，这些模型展现出了惊人的能力。然而，视频数据的时空特性带来了巨大的计算挑战——一段短短几秒钟的视频可能包含数千帧画面，每帧又由数百万像素组成。当这些视觉信息被转换为模型可处理的令牌（token）时，序列长度往往会爆炸式增长，直接导致推理速度缓慢和显存占用过高。 令牌剪枝（Token Pruning）应运而生，成为解决这一困境的主流技术路线。它的核心思想很直观：并非视频中所有区域都同等重要，通过智能地筛选和压缩视觉令牌，我们可以在保留关键信息的同时显著降低计算负担。目前学术界主要探索两大技术路径：基于注意力机制的选择策略，以及基于相似度的聚类方法。 ## 现有方法的隐藏短板 Tango研究团队深入分析了当前主流的剪枝策略，发现了两个被长期忽视的关键局限。 第一个问题出在注意力选择机制上。传统方法通常采用简单的top-k策略，即保留注意力分数最高的前k个令牌。但研究者指出，注意力分布往往呈现明显的空间多模态特性——视频中多个区域可能同时吸引模型的注意力，而且这些注意力值的幅度分布通常是长尾的。单纯选择分数最高的令牌，可能会遗漏那些分数略低但信息互补的重要区域，导致模型对视频内容的理解不够全面。 第二个问题隐藏在相似度聚类方法中。直接基于特征相似度进行聚类，很容易产生碎片化的小簇。当这些碎片被分别池化（pooling）时，每个小簇的表示都会受到噪声干扰，最终形成的视觉表征出现扭曲。这种扭曲会沿着模型的层级传播，影响后续的理解和生成任务。 ## Tango的核心创新 针对上述问题，Tango框架提出了两项关键创新。 首先是多样性驱动的注意力选择策略。不同于传统top-k的贪心思路，Tango在选择令牌时会同时考虑注意力分数和区域多样性。具体来说，模型会识别视频中多个潜在的注意力中心，确保选中的令牌能够覆盖不同的空间区域和时间片段。这种策略避免了信息冗余，同时保证了对视频内容的全面感知。 其次是时空旋转位置编码（Spatio-temporal Rotary Position Embedding，简称ST-RoPE）。视频中的视觉元素具有明确的几何结构和时空连续性——一个物体在相邻帧中的位置变化通常是平滑的，而非跳跃的。ST-RoPE通过引入局部性先验（locality priors），在位置编码中显式建模这种时空连续性，使得聚类后的令牌表示能够更好地保留原始的几何结构。 ## 实验验证与性能表现 研究团队在多个主流Video LLM架构和视频理解基准上进行了全面测试。结果令人印象深刻：当仅保留10%的视频令牌时，Tango在LLaVA-OV模型上依然保持了98.9%的原始性能，同时实现了1.88倍的推理加速。 这一数据意味着什么？在保持几乎相同理解能力的前提下，Tango将视频处理速度提升近两倍。对于需要实时交互的视频应用，如直播问答、视频搜索等场景，这种效率提升具有直接的实用价值。更重要的是，Tango展现出良好的通用性，在不同架构的Video LLM上都能稳定发挥作用。 ## 技术启示与未来展望 Tango的研究成果为视频大模型的效率优化提供了新的思路。它提醒我们，在设计和优化模型时，不能仅仅关注单一维度的指标（如注意力分数或相似度），而应该综合考虑信息的多样性、几何结构的保持以及计算效率的平衡。 随着视频内容在互联网上的爆炸式增长，高效、准确的视频理解能力将变得越来越重要。Tango所展示的剪枝技术路线，有望成为未来视频大模型部署和优化的标准组件之一。对于研究者和工程师而言，深入理解这些技术细节，将有助于在实际项目中做出更明智的架构选择。