GAR：面向LLM推理的碳感知路由优化框架

谷歌研究团队提出GAR（绿色感知路由）框架，将碳排放纳入LLM推理路由决策，在满足准确率下限和p95延迟服务级别目标（SLO）的前提下最小化每个请求的二氧化碳排放量，为绿色AI推理提供理论基础和实践方案。

大型语言模型（LLM）的部署规模正在快速增长，现有路由方法多平衡响应质量和计算成本，但很少将可持续能源使用和二氧化碳排放作为优化目标——尽管电网碳强度因时间和地区而异，且不同模型的能耗差异显著。随着AI推理需求的爆发式增长，其碳足迹也在快速累积，带来严峻的环境挑战。

GAR是约束多目标优化框架，核心目标为满足准确率下限和p95延迟SLO前提下最小化碳排放。其关键创新包括：

1. 自适应约束优化：针对每个数据集调整准确率下限，动态适配任务需求；
2. 轻量级估计器：集成正确性、尾延迟、碳排放估计，支持实时路由决策且无额外推理开销；
3. 在线原始-对偶算法（GAR-PD）：专为滚动碳预算场景设计，动态高效分配资源。

GAR将路由问题建模为约束多目标优化问题，同时考虑三个维度：

1. 碳排放最小化：优先选择碳强度较低的模型和区域；
2. 准确率保证：确保响应质量不低于预设阈值；
3. 延迟约束：满足p95延迟SLO要求。 此外，研究团队开发了启发式变体：严格模式（优先保证准确率和延迟）、平衡模式（三者均衡）、绿色模式（优先最小化碳排放），为不同场景提供灵活选择。

研究团队在标准NLP基准测试上对GAR进行评估，使用异构LLM池（7B-70B参数规模）。结果显示：

1. 碳减排：相比传统路由策略实现可观二氧化碳减排；
2. 准确率：满足准确率下限，性能损失控制在可接受范围；
3. 延迟：可靠满足p95延迟SLO；
4. 可扩展性：在7B到70B参数模型池均表现出色，泛化能力强。

GAR框架的实际部署价值体现在多方面：

• 云服务提供商：帮助满足环境法规和ESG要求，降低数据中心碳足迹与能源成本，提升绿色品牌形象；
• 企业用户：在不影响服务质量的前提下实现可持续AI部署，满足内部碳中和目标，优化推理成本（绿色能源通常成本更低）；
• AI行业：推动行业向更可持续方向发展，为绿色AI标准制定提供参考，促进碳感知AI基础设施普及。

GAR存在以下局限及未来探索方向：

1. 实时碳数据依赖：效果依赖准确的实时电网碳强度数据，数据质量影响优化效果；
2. 模型能耗建模：当前基于离线测量的模型能耗数据，未来可探索在线能耗估计；
3. 多租户场景：共享基础设施中公平分配碳预算需进一步研究；
4. 边缘部署：扩展到边缘计算场景，考虑设备级能耗和可再生能源就地使用。