量化后的大语言模型：置信度校准的系统性研究

本文解读uncertainty-aware-inference项目，系统分析训练后量化（PTQ）对不同规模大语言模型（LLM）置信度校准的影响，发现量化会损害校准质量（精度越低、模型规模越大、生成任务受影响越明显），并验证知识蒸馏可有效恢复部分校准性能，同时给出量化策略选择、校准后处理技术及监控评估等实践启示。

大语言模型部署成本高，训练后量化（PTQ）技术被广泛用于资源受限环境（将权重压缩到8位、4位等低精度），但量化是否影响模型可靠性——尤其是置信度校准能力（预测概率反映实际正确性的能力）是关键问题。uncertainty-aware-inference项目针对此展开系统性研究。

置信度校准指模型预测置信度与实际准确率匹配，校准不良（过度/不足自信）会影响决策可靠性。在医疗诊断（影响医生采纳AI建议）、自动驾驶（决定人类接管时机）、金融风控（影响误判漏判率）等高风险场景中，校准质量至关重要。

模型覆盖：涵盖LLaMA、Mistral、Falcon等架构，7B-70B参数规模，INT8/INT4等量化精度；评估指标：采用ECE（预期校准误差）、MCE（最大校准误差）、可靠性图、Brier分数等标准指标衡量校准质量。

量化负面影响：PTQ损害校准质量，精度越低（如INT4比INT8）、模型规模越大、生成任务（比分类任务）受影响更明显；蒸馏恢复：以全精度模型为教师、量化模型为学生的知识蒸馏可显著改善ECE，部分恢复性能，但需权衡额外计算资源。

量化策略：优先INT8、关键层保持高精度、混合精度量化；校准后处理：温度缩放、Platt缩放、分桶校准；监控评估：定期采样评估ECE、建立置信度分布基线、分析高置信度错误预测。

研究仅关注PTQ（工业常用、低成本），未涉及量化感知训练（QAT）；评估使用多任务基准数据集（问答、推理、代码生成等），增强结论稳健性。

未来方向：动态量化、校准感知的量化目标、其他不确定性表示；总结：本研究量化了PTQ对LLM校准的影响，验证蒸馏有效性，为部署提供实证参考，助力建立更可靠的量化LLM实践。