quantized-SLM：通过推理时技术恢复量化小语言模型的推理保真度

quantized-SLM项目核心目标是通过纯推理时技术（无需重新训练或增加模型参数）恢复量化小语言模型（SLM）的推理保真度，解决量化后推理性能下降的关键问题。该项目为边缘AI、成本敏感场景提供了高效且高性能的模型部署方案，平衡了模型压缩效率与推理能力。

随着大模型效率焦虑加剧，SLM（1B-7B参数量）因低延迟、低部署成本受关注，但推理能力逊于大模型。量化技术（PTQ、QAT、GPTQ等）提升效率的同时，导致推理能力显著退化（记忆、流畅度下降，推理能力损害最严重），成为SLM量化的核心痛点。

项目提出三阶段框架：1.推理模式分析（对比全精度与量化模型差异，定位关键层/Token）；2.关键Token识别（逻辑连接词、数值、推理步骤标记等）；3.推理时干预（自适应温度缩放、置信度引导解码、推理链验证、分层精度恢复）。自适应温度对关键Token降低温度增强确定性，分层精度恢复对中层/深层关键层提升精度。

在GSM8K、MATH等基准测试中，4-bit量化模型经技术干预后，GSM8K准确率从45%提升至65%（接近全精度70%），MATH Pass@1从28%提升至42%。额外计算开销可控（如推理链验证增加20-30%时间），且跨Llama-2-7B、Mistral-7B等模型有效。消融实验显示各组件均有正向贡献，完整方法效果最佳。

适用于边缘设备（智能手机、IoT）本地推理（量化节省资源+技术恢复性能）、实时交互系统（平衡速度与准确性）、成本敏感应用（激进量化降低推理成本），以及AI研究（提供量化影响分析基准）。

当前局限：部分技术任务特定、超参数敏感、极端量化（2-bit以下）恢复效果有限。未来方向：自适应超参数调优、神经元级精度控制、与先进量化算法结合、建立理论框架、硬件协同设计、多模态扩展、联邦学习场景应用。

项目开源核心算法（自适应温度、置信度引导解码等）、评估工具、主流小模型预配置及文档教程，为社区提供即插即用的推理增强工具、量化研究基准平台及进一步开发的基础框架。