GlimpsePrune：大型视觉语言模型的动态视觉令牌剪枝技术

南开大学HVision-NKU团队提出GlimpsePrune技术，这是一种针对大型视觉语言模型（VLMs）的动态视觉令牌剪枝方法。核心目标是通过智能压缩视觉信息，在保持模型性能的前提下显著提升推理效率，解决VLMs在边缘设备和实时场景中的部署限制。

近年来，GPT-4V、LLaVA、Qwen-VL等VLMs在图像理解、视觉问答等任务取得显著成就，但处理高分辨率图像需大量视觉令牌，导致推理延迟高、显存占用大，严重限制其在边缘设备和实时场景的应用。

GlimpsePrune的核心是动态视觉令牌剪枝，区别于静态剪枝，它根据输入图像内容自适应保留重要令牌。具体策略包括：1. 重要性评分（基于注意力权重、梯度或评分网络）；2. 分层剪枝（渐进式提炼信息）；3. 任务感知（依任务调整策略）。同时解决三大挑战：信息保留与压缩的平衡、控制剪枝计算开销、与现有模型的兼容性（即插即用模块）。

VLMs中图像经视觉编码器（如ViT）处理成视觉令牌，224x224图像用14x14 patch会产生256个令牌，高分辨率或多图场景令牌数量剧增。Transformer自注意力复杂度与序列长度平方成正比，令牌增长导致计算量和内存需求爆炸式增长。

该技术适用于：1. 边缘设备部署（手机、IoT设备）；2. 实时交互应用（降低视觉问答响应延迟）；3. 批量图像处理（节省时间成本）；4. 多模态大模型服务（降低云端计算成本，提升并发量）。

预期可减少视觉令牌数量50%甚至更多，同时性能下降控制在可接受范围内（如几个百分点以内）。

GlimpsePrune是VLMs效率优化领域的重要进展，通过动态令牌剪枝为大模型实际部署开辟新可能。随着多模态AI普及，此类效率优化技术将推动AI从实验室走向更广泛的实际应用场景。