DynaQuant：通过比特级水填充算法实现大语言模型的动态精度量化

DynaQuant提出创新的动态精度量化方法，通过比特级水填充算法为每个权重矩阵分配最优比特数，在Qwen3.5-27B模型上实现平均5.7比特、内存减少64%、推理加速2.8倍且质量损失不足1%的优异表现，在模型质量与部署效率间达成帕累托最优。

随着大语言模型规模扩张，推理阶段内存消耗成为部署障碍。以Qwen3.5-27B为例，BF16格式需约48.7GB显存，消费级硬件难以承受。传统统一精度量化策略（如全FP4/FP8）忽视层间精度敏感度差异，导致质量损失过大或内存节省不充分。

核心洞察

每个权重矩阵的比特对模型质量边际贡献不同，需按需分配比特数以达帕累托最优，借鉴通信理论中的水填充算法思想。

技术实现三步走

1. 敏感度测量：采用HAWQ-V3风格Fisher对角近似，以sensitivity = h_trace × mean(w²)为指标，与KL散度相关性达0.93，仅需一次前向+反向传播，开销低。
2. 比特分配：水填充算法在最大堆上边际升级比特，优先级为每字节成本的边际质量改进，支持硬件原生（4/8/16比特）和完整模式（4-16比特）。
3. 应用配方：按分配结果对各权重矩阵应用特定比特量化，目前用软件模拟，生产需定制反量化内核。

Qwen3.5-27B结果

方案	平均比特	内存占用	解码加速	质量损失(PPL)
BF16基准	16.0	48.7GB	1.0×	基准
DynaQuant拐点	5.7	17.4GB	2.8×	+0.59%
统一FP4	4.0	12.2GB	3.7×	+6.8%

比特价值谱系

5-7比特是量化甜蜜点：接近FP8质量，成本仅为FP8的62%；低于4比特性能退化，高于12比特精度浪费。

跨规模验证

下游任务（arc_easy+piqa）显示，4B、27B、35B MoE模型量化后与BF16基线无显著差异，质量持平。

1. h_trace × mean(w²)是最优敏感度指标，优于HAWQ-V3的Σ(H_i · w_i²)。
2. 旋转对NVFP4逐组量化无益，因其非均匀分箱已适配高斯分布。
3. 精化迭代不必要，初始与精化HAWQ排名相关系数达0.998。
4. Qwen3.5-27B帕累托拐点在5.7比特，主要为5-6比特分配。
5. MoE模型量化效果与密集模型相当或更好，35B-A3B MoE成本仅BF16的37%。

实际意义

• 消费级硬件：高端消费GPU可运行原需专业加速卡的模型。
• 边缘设备：更小内存footprint推动大模型向边缘迁移。
• 成本优化：云服务商降低硬件成本。
• 能效提升：减少内存带宽需求降低功耗。

项目路线图

• 已完成：HAWQ测量管道、帕累托分配器、配方物化、GPU反量化原型、比特打包工具。
• 进行中：融合反量化+矩阵乘内核、磁盘打包权重格式。
• 计划中：vLLM QuantizationMethod插件。