RESTORE: 纠正多模态大模型视觉Token压缩中的位置与注意力失真

本文介绍RESTORE框架，针对多模态大模型视觉Token压缩过程中的位置与注意力一致性问题，通过校准注意力权重和优化锚点选择策略，在保持计算效率的同时提升推理精度。该框架可兼容现有压缩方法，零额外训练成本，是实用的推理优化方案。

多模态大模型面临视觉Token数量爆炸的瓶颈，Transformer注意力机制的二次复杂度导致计算、内存和延迟问题。现有视觉Token压缩方法（合并、剪枝、金字塔池化）虽降低成本，但存在位置失真（空间位置编码不准确）和注意力失真（关注模式扭曲丢失）的盲区。

RESTORE框架包含两个核心组件：

1. 注意力权重校准：基于Token相对距离动态增强注意力权重（近距增强、远距衰减），引入相对位置编码恢复位置感知能力。
2. 差异化锚点选择：评估Token重要性，保证锚点空间多样性，合并时差异化加权而非简单平均，减少信息损失。

实验结果显示：

• 跨方法提升：应用于ToMe、Token Pooling等主流压缩方法，精度提升2-5个百分点，零额外训练成本。
• 效率保持：计算开销增加不到5%，注意力校准复杂度O(n)，锚点选择无需额外前向传播。
• 任务性能：视觉问答（+2.8%）、图像描述（+2.7%）、图文检索（+3.1%）等任务均有稳健提升。

通过可视化和量化分析揭示有效性：

• 注意力重聚焦：校准后注意力重新聚焦语义重要区域，热力图显示关键区域关注度提升。
• 位置编码恢复：距离感知机制弥补绝对位置编码失真，空间推理任务提升显著。
• 信息保留：特征相似度从0.65提升至0.82，差异化锚点选择减少信息损失。

部署建议：

• 集成便捷：无需修改模型架构，兼容ToMe等主流压缩库，超参数少。
• 权衡压缩率：移动端建议压缩率≤50%，服务端可达70%，配合RESTORE恢复精度。
• 组合优化：可与量化、投机解码、缓存优化等技术联合使用，提升整体效率。

启示：压缩-恢复联合优化重要性、注意力模式可迁移性、显式位置建模的必要性。局限：静态压缩策略、缺乏端到端训练、跨模态交互研究不足。未来方向：可学习校准网络、内容感知动态压缩、跨模态对齐补偿方法。