QIG：基于量化感知积分梯度的大型视觉语言模型细粒度训练后量化方法

本文介绍CVPR 2026论文QIG，一种面向大型视觉语言模型（LVLMs）的细粒度训练后量化技术。该方法通过量化感知积分梯度解决LVLMs部署中的规模挑战，在降低存储与计算开销的同时保持模型性能，为边缘设备部署多模态模型提供实用方案。

大型视觉语言模型在图像理解、视觉问答等任务表现卓越，但庞大的规模给部署带来巨大挑战。量化技术是模型压缩的重要手段，然而传统训练后量化处理LVLMs时面临独特问题：需同时处理视觉和文本模态，复杂跨模态交互机制导致简单量化策略易造成显著性能损失。

QIG的核心创新是将积分梯度（原用于解释神经网络预测的可解释性技术）迁移到量化领域，识别并保留对模型输出影响最大的关键权重和激活值。该方法考虑权重变化对输出的累积影响（全局视角），更好保持模型整体行为，尤其在跨模态特征交互时优势明显。

QIG采用细粒度量化粒度，针对不同层、模态、通道采用差异化量化参数：视觉编码器需更高精度保留细粒度视觉信息，文本编码器可更激进压缩；通过量化感知积分梯度引导，自动识别关键部分进行最优比特分配。同时考虑LVLMs特有架构（如投影层、对齐模块）的特殊处理需求。

标准视觉语言基准测试显示，QIG在极低比特设置下仍保持优秀性能。与现有训练后量化方法相比，相同压缩比下精度损失更低，部分任务接近全精度模型。尤其在细粒度视觉理解的复杂任务（如详细图像描述、多目标关系推理）中表现出色，证明细粒度策略保留了高级视觉理解能力。

QIG为边缘设备部署LVLMs提供实用方案：训练后量化特性无需原始训练数据或昂贵微调，降低部署门槛；细粒度策略平衡压缩比与性能。随着多模态AI应用普及，高效模型压缩技术是前沿研究与实际应用的关键桥梁，QIG做出了有价值探索。