G²TR框架核心概述

G²TR是面向分离编码器多模态模型的生成引导视觉Token压缩框架，通过VAE潜空间一致性评估Token重要性，实现平衡选择与冗余合并。实验表明，该方法可将视觉Token和预填充计算量减少1.94倍，同时保持推理准确性和编辑质量。

背景：效率瓶颈与独特需求

统一多模态模型（UMMs）推动视觉-语言融合，但视觉Token处理是主要效率瓶颈（注意力计算复杂度平方增长）。分离编码器架构的UMM要求压缩Token同时支持理解（如问答）和生成（如编辑）任务，现有方法仅优化理解任务，易导致生成性能下降。

G²TR方法细节

核心洞察：生成分支（VAE）的潜空间信号可提供任务无关的Token重要性评估。

三步流程：

1. Token重要性估计：计算Token与VAE潜空间表示的一致性分数，高一致性保留；
2. 平衡选择：确保保留Token空间分布均匀；
3. 冗余合并：将冗余Token信息合并到邻近保留Token，最小化信息损失。

该方法无需微调，兼容现有UMM架构。

实验结果：效率与性能平衡

• 效率提升：视觉Token减少约一半，预填充计算量降低1.94倍；
• 性能保持：理解任务（问答、图像描述）准确性与无压缩模型相当；生成/编辑任务质量未下降，尤其在精细空间编辑任务表现突出。

结论与启示

结论：G²TR通过VAE引导实现任务无关的Token压缩，高效且保持多任务性能。

启示：

1. 生成任务可为理解任务提供监督信号；
2. 任务无关压缩可行（通用解决方案）；
3. 压缩需关注空间分布与任务覆盖。

局限与未来研究

局限：

1. 压缩比例受VAE架构限制；
2. 未扩展到视频时序数据；
3. Token合并有额外计算开销。

未来方向：优化VAE兼容性、扩展到视频、降低合并开销。