融合反量化与GEMM：LLM推理的CUDA内核优化实践

原作者与来源

• 原作者/维护者: zhangtina0103
• 来源平台: GitHub
• 原始标题: fused-dequant-gemm: fused dequant gemm for llm inference
• 原始链接: https://github.com/zhangtina0103/fused-dequant-gemm
• 发布时间: 2026年6月6日

---

引言：LLM推理的内存瓶颈

大规模语言模型（LLM）的推理性能优化一直是AI工程领域的核心挑战。随着模型参数量从数十亿增长到数千亿，推理过程中的内存带宽瓶颈愈发凸显。在典型的自回归生成场景中，batch size通常为1，此时计算单元大部分时间处于等待数据的状态——推理性能几乎完全受限于DRAM带宽而非算力本身。

在这种背景下，权重量化（weight-only quantization）成为降低内存占用的关键技术。INT8量化可以将模型权重压缩至原始大小的四分之一，直接减少从DRAM读取权重的数据量。然而，传统的实现方式存在一个明显的效率陷阱：先将INT8权重反量化（dequantize）为FP32并写入内存，然后再读取这些FP32权重执行GEMM（通用矩阵乘法）。这种分离式操作引入了不必要的内存往返，抵消了量化带来的部分收益。

---

项目概述：内核融合的技术价值

fused-dequant-gemm 项目由开发者 zhangtina0103 开源，专注于解决上述问题。该项目通过CUDA内核融合技术，将反量化操作直接嵌入GEMM的瓦片加载（tile loading）过程中，彻底消除了中间FP32权重缓冲区的内存读写开销。

核心优化思路

传统分离式路径的工作流程如下：

INT8权重 → [DRAM写入FP32缓冲区] → GEMM计算 → 输出结果

这种模式下，对于K=N=4096的矩阵乘法，需要额外读写67MB的FP32权重数据。在batch-1的解码场景中，这些纯粹的内存搬运操作成为性能杀手。

融合式路径则采用完全不同的策略：

INT8权重 → 寄存器/共享内存中即时反量化 → GEMM计算 → 输出结果

通过在GEMM内核的瓦片加载阶段即时完成反量化，项目成功消除了DRAM层面的中间缓冲区写入和读取，将内存流量降低约33%。

---

技术实现细节

量化策略：分组对称INT8

项目采用分组（group-wise）对称INT8量化策略，每组128个元素共享一个缩放因子（scale）。相比逐张量（per-tensor）量化，分组策略在精度和开销之间取得了更好的平衡——额外的缩放因子存储开销（K/128 × N × 4字节）相对于权重节省（4×）可以忽略不计。

CUDA内核架构

项目实现了三个关键CUDA内核作为对比基准：

1. dequant.cu: 独立的INT8到FP32反量化内核，作为性能基准
2. gemm_tiled.cu: 基于共享内存的瓦片化FP32 GEMM实现
3. dequant_gemm_fused.cu: 融合反量化与GEMM的核心内核

融合内核的核心创新在于：在瓦片加载阶段，从全局内存读取INT8权重和对应的缩放因子，在寄存器或共享内存中即时完成反量化，然后直接参与矩阵乘法计算。这种设计完全避免了将反量化后的FP32权重写回全局内存。

性能对比数据

项目在NVIDIA GPU上进行了基准测试，典型结果如下：

内核实现	有效GFLOPS	内存带宽利用率	延迟	加速比
Python未融合	2,100	45.2 GB/s	8.12 ms	1.00×
cuBLAS未融合	8,400	180.5 GB/s	2.03 ms	4.00×
CUDA分离式	6,200	133.1 GB/s	2.75 ms	2.95×
CUDA融合式	7,100	198.4 GB/s	2.40 ms	3.38×

融合式相比分离式CUDA实现获得了约15%的性能提升，同时减少了33%的DRAM流量。

---

性能分析与调优

Nsight Compute性能剖析

项目提供了完整的Nsight Compute性能剖析脚本，帮助开发者深入理解融合带来的收益。关键监控指标包括：

• dram__throughput.avg.pct_of_peak_sustained_elapsed: 衡量是否处于内存带宽瓶颈
• l1tex__t_sectors_pipe_lsu_mem_global_op_ld.sum: 全局内存加载流量——融合后显著降低
• Global store bytes: 未融合路径需要写入完整FP32权重矩阵，融合路径完全避免

关键洞察

1. 为什么batch size ≤ 4时权重量化最有效？ 在小batch场景下，推理受限于内存带宽而非计算能力。压缩权重4倍直接提升了有效吞吐量，而激活量化（activation quantization）的收益相对有限。

2. 为什么融合反量化与GEMM如此重要？ 分离式反量化会物化一个完整的FP32 [K,N]张量，引入4×K×N字节的写入和读取，这些内存流量在融合后被完全消除。

3. 与TensorRT-LLM的关联 该项目展示的模式与TensorRT-LLM中的W4A16 AWQ和INT8权重量化路径完全一致：离线量化通过ModelOpt完成，运行时通过cuBLASLt或自定义内核执行融合的反量化-GEMM。

---

工程实践与应用场景

适用场景

• 边缘设备部署: 内存带宽受限的移动和嵌入式设备
• 高吞吐服务: 需要最大化单卡并发能力的在线推理服务
• 量化研究: 理解权重量化内核优化的工程实现细节

扩展方向

项目文档中提到了几个有价值的后续优化方向：

1. FP8 KV缓存压缩: 进一步降低注意力机制的内存占用
2. cuBLASLt INT8 GEMM基准: 与NVIDIA优化库的性能对比
3. 向量化瓦片加载: 结合kernel项目的优化技术进一步提升性能

---

总结与启示

fused-dequant-gemm 项目虽然代码规模不大，但精准地展示了LLM推理优化的一个关键范式：内核融合消除内存往返。通过将反量化操作嵌入GEMM的瓦片加载阶段，项目在保持代码清晰易懂的同时，实现了显著的性能提升。

对于从事LLM推理优化的工程师而言，该项目提供了一个极佳的学习案例。它揭示了量化推理中容易被忽视的性能陷阱，并展示了如何通过CUDA内核开发技术来解决这些问题。更重要的是，项目展示了从理论优化到工程实现的完整路径，包括性能基准测试、Nsight Compute剖析和结果可视化。

在LLM模型规模持续增长的今天，这类专注于内存带宽优化的技术将变得越来越重要。无论是生产环境的推理服务优化，还是学术研究中的效率分析，理解和应用这类内核融合技术都具有重要的实践价值。