知识蒸馏能效评估框架：让大模型瘦身同时省电

本文介绍开源项目Slimming-Models-Saving-Watts，这是一个面向HPC集群环境的知识蒸馏研究框架，支持三种主流蒸馏范式，并集成GPU/CPU能耗遥测功能，为大规模语言模型的能效优化提供量化评估工具，旨在解决模型规模与计算资源消耗之间的矛盾。

大语言模型训练和推理消耗巨量能源，知识蒸馏作为模型压缩技术理论上可实现瘦身与效率提升，但传统KD研究仅关注精度指标，忽视能耗维度的系统性评估。本项目针对这一空白，构建了HPC环境下的完整框架，将能效评估纳入KD流程核心环节。

项目模块化实现三种主流蒸馏范式：

1. 响应式蒸馏：拟合教师模型输出概率分布，实现简单但可能丢失中间层信息；
2. 特征蒸馏：强制学生模型中间层表示与教师对齐，传递深层语义但需设计层间映射；
3. 关系蒸馏：保持样本间相对距离传递知识，适用于需保留数据结构特性的任务。研究者可灵活组合或单独使用。

框架内置能耗遥测系统（monitor.py），实时采集GPU功耗/利用率、显存/温度、CPU使用率及时间戳，数据记录为JSONL格式。可计算E_run（总能耗）、EPT（每token能耗）、OM_perf（性能保持率）、Eff_overall（综合效率）等指标，量化回答蒸馏方法的省电效果。

项目针对Slurm调度系统和NVIDIA GPU（H100/A100/RTX系列）优化，数据预处理采用分片策略提升I/O性能与确定性采样；集成lm-evaluation-harness和lighteval评测体系，覆盖MMLU等主流任务；评估结果通过Jupyter Notebook可视化（能耗曲线、精度-能效权衡图）辅助研究报告生成。

框架适用于多场景：

• 云服务商：找到硬件配置下精度-能耗最优平衡点，提供高性价比模型服务；
• AI研究团队：比较不同蒸馏策略的能效表现，支撑方法选择；
• 环保组织：量化模型压缩的碳减排效果，满足ESG报告需求。

Slimming-Models-Saving-Watts将KD研究推进到精度与能效并重的新阶段，在AI算力需求膨胀背景下具重要实践价值。项目已开源，支持Llama 3.1、Qwen2.5等主流模型家族，为学术界和工业界提供坚实的模型优化基础设施。