HAWK：多模态大模型视觉Token剪枝的新突破

HAWK提出一种基于注意力头重要性的视觉Token剪枝方法，无需训练即可实现80%视觉Token剪枝并保持96%原始准确率，为多模态大模型的实时部署提供可行方案。

多模态大语言模型（MLLMs）能力强大，但高分辨率视觉输入导致视觉Token数量爆炸式增长，显著增加推理延迟、计算资源消耗和GPU内存占用，使得在自动驾驶、机器人控制或移动设备即时视觉问答等实时场景难以落地。

传统视觉Token剪枝假设所有注意力头贡献相等，忽视了Transformer架构中不同注意力头的功能分化——有的关注形状轮廓，有的关注颜色纹理，有的专注空间位置关系，导致评估Token重要性时未能考虑头的差异化贡献。

HAWK通过双维度评估视觉Token重要性：1.头重要性权重：动态计算各注意力头的激活强度和稳定性以分配权重；2.文本引导注意力：结合当前文本任务识别相关Token。且无需训练，可直接应用于预训练MLLMs，即插即用。

在Qwen2.5-VL模型测试中，HAWK剪枝80.2%视觉Token后仍保持96.0%原始准确率；端到端推理时间降至原始的74.4%；显著降低GPU内存使用量，助力资源受限设备部署。

技术上，HAWK为解决MLLMs计算效率瓶颈提供有效路径，揭示注意力头功能分化现象；行业上，无需训练特性适合快速迭代的工程环境，可快速评估部署优化，缩短产品化周期。

局限：当前仅针对视觉Token剪枝。未来方向：扩展到其他模态Token优化；优化头重要性权重计算；结合量化、知识蒸馏等技术探索更激进的压缩方案。