VAR-Compressor：在边缘GPU上实现80亿参数视觉自回归模型的高效量化部署

VAR-Compressor项目通过W4A4权重激活量化和INT8 KV缓存量化技术，将Infinity VAR 8B视觉生成模型压缩至可在16GB边缘设备上原生运行，为边缘AI部署提供新思路。

近年来，视觉自回归模型（VAR）在图像生成领域表现出色，但数十亿参数的规模对计算和内存需求极高，如Infinity VAR 8B模型在标准推理下显存需求大，限制了在NVIDIA Jetson等边缘平台的应用，模型压缩成为关键环节。

VAR-Compressor针对Infinity VAR模型开发量化方案：1. W4A4权重激活量化，通过SVDQuant处理FFN下投影层的极端激活异常值（最大中位数比达353倍），用SVD构建高精度低秩分支缓解精度损失；2. INT8 KV缓存量化，基于通道变异系数>1.2、偏度约0.85的发现，采用非对称每通道量化策略，保持性能同时节省内存。

基于Infinity VAR架构的结构分析：1. 激活异常值：FFN下投影层存在极端激活异常值，峰度超高斯分布，促使SVDQuant应用；2. KV缓存特性：方差在不同维度分布不均，选择非对称每通道INT8量化实现4倍内存节省且保持精度。

压缩后的Infinity VAR 8B模型可在16GB边缘设备原生运行，应用场景包括：边缘内容创作（Jetson设备本地图像生成）、隐私敏感应用（本地处理无需上传云端）、实时交互系统（降低推理延迟）、资源受限环境（嵌入式系统部署高性能模型）。

项目基于MIT HAN Lab的DeepCompressor框架定制开发，集成SVDQuant量化引擎。使用步骤：1.克隆仓库安装依赖；2.下载预压缩模型或运行量化流程；3.在目标边缘设备部署推理。还提供诊断工具集验证压缩效果和性能指标。

项目对应论文《Enabling 8B Bitwise Autoregressive Image Generation on Edge GPUs》阐述技术细节。作为开源项目，提供可用压缩模型及完整技术路径参考，证明4位量化下80亿参数模型仍保持可用生成质量，为边缘部署大型生成模型提供参考。

随着边缘AI芯片算力提升和量化算法优化，未来有望在更小设备运行更大规模生成模型。VAR-Compressor的结构感知量化策略和架构特定优化，为该方向提供参考范式。