EnergyLens：用可解释闭式模型破解大模型推理能耗优化难题

EnergyLens通过符号回归从少量样本推导出仅含12个参数的闭式能耗模型，在配置选择准确率上达到88.2%，远超传统方法的60.9%，为LLM推理的能耗优化提供了物理可解释且实用的解决方案。该研究解决了现有能耗优化方法的局限，是大模型部署中能耗优化领域的重要进展。

随着大语言模型（LLM）架构多样化（密集模型、MoE模型、状态空间模型）及部署到异构加速器处理多模态工作负载，推理能耗优化与延迟、吞吐优化同等重要。现有方法存在局限：要么将延迟作为能耗代理（超20%配置中延迟最优与能耗最优不重合），要么依赖数据饥渴的黑盒模型（需数百样本跨模型和硬件泛化）。

EnergyLens的核心创新是用符号回归从少量剖析数据推导出12参数闭式模型，完全用系统属性（并行度、批次大小、序列长度等）表达，实现三项解耦：张量并行与流水线并行贡献分离、预填充与解码阶段能耗分离、跨硬件可迁移性。技术细节上，12参数涵盖计算密集操作能耗、内存访问开销、并行通信能耗、批处理效率变化、序列长度对带宽影响等，通过符号回归自动发现无需人工指定结构。

研究团队仅用50个性能剖析测量值拟合EnergyLens模型，Top-1配置选择准确率达88.2%，远超先前分析基线的60.9%，预测精度与需10倍样本的集成机器学习方法相当。这将性能剖析开销降低一个数量级，且闭式特性使优化结果具有物理可解释性。

EnergyLens的实际价值包括：降低数据中心运营成本（满足延迟SLA同时最小化能耗）、支持绿色AI倡议（减少碳足迹）、加速新硬件适配（无需重新收集大量剖析数据）、优化多租户场景资源分配（能耗感知的调度决策）。

EnergyLens存在的局限及未来方向：1. 动态工作负载适应性（当前针对静态配置，需扩展到请求模式剧烈变化场景）；2. 多模态工作负载复杂性（视频、音频等能耗特征与纯文本差异大）；3. 与编译器优化的交互（协调模型预测与XLA、TVM等编译器决策）。

EnergyLens证明通过符号回归和物理可解释建模，可在极少样本下实现高精度能耗预测，为LLM实际部署提供实用工具，也为AI系统可持续发展和绿色计算提供新思路。随着LLM部署规模扩大，此类能耗优化技术将成为基础设施不可或缺的部分。