深入理解神经网络量化：从FP32到INT8/INT4的精度与性能权衡研究

本研究是一项为期50天的深入项目，聚焦神经网络从FP32到INT8/INT4的量化过程，通过实现自定义CUDA内核并与NVIDIA TensorRT对比，探索精度损失与性能提升的权衡关系，为TensorRT及推理团队提供实践参考。研究覆盖ResNet-18、DistilBERT等真实模型，包含系统化基准测试与逐层敏感度分析。

深度学习模型性能提升的同时，计算与存储开销剧增（如FP32模型需数GB显存），导致边缘设备或实时场景部署困难。量化技术通过将高精度浮点数转为低精度整数（INT8/INT4），可显著减少模型体积并加速推理，但精度降低会带来性能折损。本项目旨在理解这种折损程度及如何合理权衡。

核心研究问题：1. FP32量化到INT8/INT4时的精度损失；2. 自定义CUDA内核与TensorRT在延迟、吞吐量上的表现差异。项目框架包括：自定义CUDA C++内核（INT8量化/反量化/GEMM）、Python实验框架（应用于真实模型）、全精度对比基准测试、逐层敏感度分析、TensorRT对比验证。

硬件环境：NVIDIA RTX4060 Laptop GPU（Ada Lovelace架构，8GB GDDR6，第4代Tensor Core）。软件栈：CUDA Toolkit12.x、PyTorch2.x（CUDA12.1）、TensorRT8.6+、CMake3.20+、Nsight工具。量化策略：训练后量化（PTQ）、量化感知训练（QAT）、混合精度（自动分配INT8/FP16）。

• 量化：线性量化公式为量化值 = round((浮点值 - 零点)/缩放因子)，缩放因子与零点由校准数据集确定。- INT8 vs INT4：INT8（-128127）存储减少4倍，精度损失可控；INT4（-87）存储减少8倍，但精度损失更明显，需精细校准。- Tensor Core加速：NVIDIA Tensor Core优化矩阵运算，支持混合精度，INT8 Tensor Core可在高吞吐量下减少量化开销。

基准流程：加载ResNet-18/DistilBERT → 用CIFAR10/ImageNet子集验证 → 评估Top1/Top5准确率 → 测量延迟与吞吐量 → 对比模型大小。敏感度分析：输入层/浅层对量化敏感（基础特征提取）；深层更容忍（高层语义特征）；Transformer注意力层需特别注意。TensorRT对比：验证自定义实现正确性，理解工业级方案的设计取舍。

意义：量化是TensorRT核心技术，研究底层原理（缩放因子、零点、权衡）对NVIDIA推理团队至关重要；为开发者提供可复现框架、性能调优指南、问题诊断工具。应用场景：边缘设备部署、实时推理、云端优化。结论：INT8量化可保持95%以上原始性能；校准策略显著减少误差；逐层分析指导混合精度；硬件协同设计提升内核效率。