Slimming Models, Saving Watts：面向大语言模型的能耗感知知识蒸馏框架

本研究框架针对Llama 3.1等大语言模型，系统性评估响应式、特征式和关系式三种知识蒸馏方法的准确性、效率及能耗表现，专为HPC集群与Slurm环境设计。框架填补了传统知识蒸馏研究中对能耗效率系统性评估的空白，将能耗测量与KD效果评估深度结合，为绿色AI研究提供标准化工具。

随着大语言模型参数量从数十亿增长至数千亿，训练与部署的能耗问题日益突出。知识蒸馏（KD）作为模型压缩核心技术，可在保持性能的同时减小模型规模，但传统KD研究主要关注精度保留，对能耗效率的系统性评估相对缺乏。Slimming Models, Saving Watts项目构建了面向HPC环境的完整研究框架，填补了这一空白。

框架采用模块化设计，包含三大核心部分：

1. 三种知识蒸馏范式：响应式（匹配输出logits分布）、特征式（对齐中间层特征）、关系式（保持样本间关系结构）；
2. 能耗遥测系统：集成monitor.py模块，实时采集GPU功耗、利用率、显存等数据，计算总能耗（E_run）、每token能耗（EPT）等关键指标；
3. Slurm兼容的HPC部署：支持多GPU并行训练、Slurm作业提交、分布式数据分片，适配NVIDIA H100/A100等GPU环境。

实验以Llama 3.1系列为主要对象：教师模型为Llama-3.1-70B-Instruct，学生模型为Llama-3.1-8B-Instruct。评估体系包含多维度指标：

• OM_perf：学生模型相对于教师模型的性能保留率；
• EPT：推理阶段每token能耗；
• Eff_overall：融合精度与能耗的综合效率指标。评估环节集成MMLU、ARC、BBL、HellaSwag等主流基准，支持lm-harness和lighteval框架。

框架提供端到端流程支持：

1. 环境准备：pip install -r requirements.txt；
2. 数据构建：通过build_shards_from_hf.py从Hugging Face加载数据集并生成分片（提升I/O性能、保证可复现性）；
3. 基线训练、知识蒸馏、能耗监控、模型评估及结果分析（Jupyter Notebook可视化）。

项目包含丰富的Jupyter Notebook工具：

• 能耗分析系列：feature_energy_plot.ipynb（特征式蒸馏能耗曲线）、response_energy_plot.ipynb（响应式）、relation_energy_plot.ipynb（关系式）；
• 性能指标系列：OMperf.ipynb（性能保留分析）、ENERGYrun.ipynb（能耗运行分析）、EFFoveral.ipynb（综合效率评估）。这些工具为研究提供直接可用的图表素材。

框架的发布具有多重价值：

• 研究层面：首次系统性将能耗测量纳入KD评估体系，为绿色AI研究提供标准化工具；
• 工程层面：完整的Slurm集成与HPC优化，支持真实生产环境的大规模实验；
• 产业层面：EPT等指标为模型选型提供新维度，能耗成为精度与速度之外的关键考量因素。该框架为大模型效率优化、绿色计算及KD领域的研究者与工程师提供功能完备的平台。