AutoRound：英特尔开源的大模型量化工具，实现低比特高精度推理

AutoRound是英特尔开源的先进大语言模型量化工具包，支持2-4比特超低比特量化，通过符号梯度下降优化舍入策略，在保持高精度的同时大幅降低模型存储和推理成本。它采用后训练量化范式，无需原始训练数据或微调，仅需少量校准数据即可完成量化，且已获得vLLM、Transformers等主流框架集成支持，为大模型部署提供高效易用的解决方案。

随着大语言模型参数规模从数十亿攀升至数千亿，存储和推理成本成为广泛应用的主要瓶颈。量化技术作为模型压缩的重要手段，通过降低权重和激活值精度，可显著减少显存占用并加速推理。AutoRound正是针对这一需求推出的量化解决方案。

AutoRound的核心创新在于采用符号梯度下降优化权重量化的舍入决策，相比传统最近邻舍入更优。它基于后训练量化（PTQ）范式，无需访问原始训练数据或微调，仅需128-512个校准样本，约10分钟即可完成7B模型量化，降低应用门槛。

1. 超低比特高精度：2-3比特场景保持强劲性能，4比特达业界领先，如DeepSeek-R1 INT2混合量化保持97.9%原始精度；
2. 跨硬件支持：优化Intel Xeon CPU、NVIDIA GPU、Intel XPU、Gaudi HPU；
3. 多格式导出：支持auto_round、auto_awq、gguf等格式；
4. AutoScheme自动混合精度：指定目标平均比特数，自动生成最优方案；
5. 多模态支持：兼容Qwen2.5-VL、LLaVA等10余种视觉-语言模型。

安装

不同硬件平台安装命令：

• CPU/NVIDIA GPU：pip install auto-round
• Intel XPU：先装PyTorch XPU版，再pip install auto-round
• Intel Gaudi：pip install auto-round-hpu

量化与部署

• 命令行：auto-round --model Qwen/Qwen3-0.6B --scheme W4A16 --output_dir ./tmp_autoround
• Python API：使用AutoRound类量化并保存
• 推理：直接在vLLM、SGLang等框架加载量化模型。

AutoRound已集成至Transformers（2025年5月）、vLLM（2025年5月）、SGLang（2025年10月）、LLM-Compressor（2025年11月）等主流框架，获得HuggingFace、LMSYS团队推荐，量化模型可直接生产部署。

量化时间

单GPU量化7B模型默认约10分钟，可调整模式：

• 高精度：iters=1000
• 平衡：iters=200（默认）
• 快速：iters=50
• RTN：iters=0（最快）

内存占用

量化开销为原始BF16模型的1.1-1.5倍，启用low_gpu_mem_usage可节省20GB显存，但增加30%时间。

AutoRound团队持续推进技术边界，近期支持MXFP4/NVFP4、FP8块级量化等。它通过优化舍入策略、跨平台支持等，为大模型部署提供高效方案，在AI基础设施中作用日益重要，是开发者降低推理成本的优选工具。