IF4：自适应块缩放数据类型优化大模型量化

随着大语言模型规模膨胀，模型压缩技术愈发重要。4位量化因平衡压缩率与模型质量受关注，NVIDIA的NVFP4是主流方案之一，但存在接近块最大值时量化误差过大的问题。MIT团队提出IF4自适应块缩放数据类型，通过智能选择FP4和INT4表示解决该问题，为大模型压缩提供更高效方案。

模型压缩中，量化技术通过降低参数精度减少存储与计算开销。4位量化平衡良好，NVFP4获硬件支持且实践表现出色，但存在误差分布不均问题：每个16值块中，接近最大值的值承受不成比例的高量化误差，影响模型性能。根源在于NVFP4的块缩放策略——16值共享缩放因子，极端值会拉低其他值的表示精度。

IF4的核心是自适应格式选择：根据每个16值块的分布特征，动态选择FP4（擅长动态范围）或INT4（适合均匀分布）。其巧妙利用NVFP4缩放因子E4M3格式中闲置的符号位存储格式信息（0=FP4，1=INT4），无额外存储开销。此外，该思路扩展到IF3、IF6格式，体现通用设计范式。

实验验证IF4在量化训练和训练后量化场景的有效性：量化感知训练中，IF4模型训练损失显著降低，能更准确表示参数，捕捉细微语言规律；训练后量化场景下，在问答、文本分类、推理等下游任务上准确率更高，无需重新训练，计算成本低。

IF4的硬件可行性通过支持IF4的乘加（MAC）单元验证：该单元高效处理FP4和INT4运算，电路设计巧妙，面积和功耗开销可接受。若获硬件厂商支持，IF4有望成为下一代AI加速器的标准量化格式，在相同位宽下提升表示精度，降低计算和存储成本。

IF4与现有量化方法对比：与8位量化相比，更低存储开销达相近模型质量；与2/3位量化相比，模型质量更有保障；与复杂自适应方法相比，块级自适应策略在效果与可实现性间取得平衡，硬件友好性更佳。

IF4实现代码已开源（GitHub仓库：https://github.com/mit-han-lab/fouroversix），推动技术应用。对大模型服务提供商，IF4可降低推理成本、提升响应速度；对硬件厂商，支持IF4能提供更高效推理能力，形成竞争优势。

IF4通过自适应选择浮点和整数表示，解决NVFP4的最大值附近量化误差问题，体现对量化误差本质的深刻理解。结合硬件可行性论证，IF4有望成为大模型量化领域重要进展。期待开源代码发布后，在更多实际场景中应用与验证。论文链接：http://arxiv.org/abs/2603.28765v1