How Hungry is AI?：量化大语言模型推理阶段的环境足迹

一个开源项目与配套研究论文，通过自动化数据管道和 Power BI 仪表板，系统评估大语言模型在推理阶段的能源消耗、水资源使用和碳排放，为 AI 可持续发展提供数据支撑。

研究背景与意义\n\n随着大语言模型（LLM）的广泛应用，一个不容忽视的问题逐渐浮出水面：这些强大的 AI 系统究竟消耗了多少资源？训练阶段的能源消耗已经引起了广泛关注，但对于实际使用更为频繁的推理阶段（即模型响应用户查询的运行时阶段），其环境足迹却缺乏系统性的量化研究。\n\n"How Hungry is AI?" 项目正是为了填补这一空白。由 Nidhal Jegham 等研究者发起，该项目通过开源的数据管道和交互式仪表板，首次对主流 LLM 的推理阶段环境足迹进行了全面评估，涵盖能源消耗、水资源使用和碳排放三个关键维度。\n\n## 项目概述\n\nHow Hungry is AI? 包含两个核心组成部分：\n\n1. 开源代码仓库：提供完整的数据采集、清洗和分析流程\n2. Power BI 仪表板：实时展示各模型的环境足迹排名和趋势\n\n项目聚焦于推理阶段（Inference Phase）的运营成本，即模型在实际部署后响应查询时产生的环境影响。这与训练阶段（Training Phase）的一次性投入形成鲜明对比——推理成本是持续发生的，随着模型使用量的增长而累积。\n\n## 研究方法与技术架构\n\n### 自动化数据管道\n\n项目的核心是自动化数据收集流程，主要步骤包括：\n\n1. 性能指标采集：抓取各模型的延迟（latency）、吞吐量（TPS，每秒 token 数）、基准测试分数等性能数据\n2. 硬件规格整合：结合 GPU 和非 GPU 组件的功耗规格\n3. 基础设施乘数应用：引入 PUE（能源使用效率）、WUE（水资源使用效率）、CIF（碳强度因子）等行业标准乘数\n4. 环境足迹计算：估算每次查询的能源消耗、用水量（现场和来源）和碳排放\n\n### 数据输出\n\n处理后的数据以 CSV 格式导出到 ./output/ 目录，包括：\n\n- 各模型在不同提示长度下的完整结果表\n- 批次大小敏感性分析（B=4/8/16 对能耗的影响）\n- 硬件推理详情对比（如 GPT-4o mini 在 OpenAI 与 Azure 上的差异）\n- GPT-5 推理模式下的能耗对比数据\n\n## 核心发现与洞察\n\n### 路由策略对能耗的显著影响\n\n研究发现，模型的"路由"或"推理模式"选择会显著改变单次查询的能耗。例如，某些模型提供"快速模式"和"深度思考模式"，后者的能耗可能是前者的数倍。这一发现对于设计节能的 AI 应用具有重要指导意义。\n\n### 硬件基础设施的差异\n\n即使是同一模型，在不同的部署端点（如 OpenAI API vs Azure OpenAI Service）上，由于底层硬件配置的差异（A100 vs H100/H200），其吞吐量和能耗表现也可能存在显著差异。这说明环境足迹不仅取决于模型本身，还深受部署环境的影响。\n\n### 批次处理的重要性\n\n批次大小（Batch Size）对能效的影响不容忽视。研究表明，适当增加批次大小可以显著提升吞吐量，降低单位 token 的能耗。这为大规模部署的优化提供了方向。\n\n## 仪表板功能\n\nPower BI 仪表板提供了直观的数据可视化，主要功能包括：\n\n- 模型足迹排名：按能源、水、碳排放排序\n- 延迟与吞吐量对比：性能与环境成本的权衡\n- 等效换算：将模型能耗转换为日常活动（如行驶里程、灯泡照明时长）\n- 时间序列追踪：监控特定模型的日足迹变化\n- 筛选器：按模型系列、提供商、硬件类型等维度筛选\n\n仪表板的公开访问链接为研究者、开发者和决策者提供了透明的数据参考。\n\n## 技术实现细节\n\n### 环境配置\n\n项目使用 Python 3.10-3.12 开发，依赖管理简洁：\n\nbash\npython -m venv .venv\nsource .venv/bin/activate\npip install -r requirements.txt\n\n\n### 数据流程\n\n运行数据清洗和导出脚本：\n\nbash\npython Data_Cleaning_Final.py\n\n\n根据配置，可能需要先运行数据采集脚本获取原始 CSV 输入。\n\n### 自动化更新\n\n项目包含 GitHub Actions 工作流，支持：\n\n- 定时自动运行数据采集和清洗\n- 将更新后的 CSV 提交到 ./output/ 目录\n\n用户可在 Actions 标签页启用工作流，并在 Settings → Secrets 中配置必要的 API 凭证或数据源访问密钥。\n\n## 学术引用\n\n该项目伴随一篇学术论文发布，引用格式如下：\n\nbibtex\n@article{jegham2025hungry,\n title={How hungry is ai? benchmarking energy, water, and carbon footprint of llm inference},\n author={Jegham, Nidhal and Abdelatti, Marwan and Koh, Chan Young and Elmoubarki, Lassad and Hendawi, Abdeltawab},\n journal={arXiv preprint arXiv:2505.09598},\n year={2025}\n}\n\n\n## 使用许可与限制\n\n数据集仅供研究和信息用途。商业使用、再分发或包含在商业产品/服务中需要书面许可或商业许可证。\n\n## 局限性与未来方向\n\n项目明确声明其研究范围：\n\n- 主要关注运营推理（Operational Inference）的电力消耗及相关水/碳足迹\n- 使用已发布的基础设施乘数进行估算\n- 除非明确说明，不包含训练能耗或隐含（Scope 3）影响\n\n未来研究可以扩展至：\n\n- 训练阶段的完整生命周期评估\n- 硬件制造和废弃处理的隐含排放\n- 更细粒度的实时监测方法\n\n## 结语\n\n"How Hungry is AI?" 项目为 AI 行业的可持续发展提供了重要的数据基础设施。在 LLM 应用爆发式增长的今天，了解并优化其环境足迹不仅是技术问题，更是社会责任。\n\n对于 AI 开发者，这些数据可以帮助选择更节能的模型和部署策略；对于企业决策者，这是制定绿色 AI 战略的依据；对于研究者，这是探索高效 AI 算法的起点。\n\n项目的开源性质确保了透明度，而仪表板的实时更新则让数据始终保持相关性。随着更多模型和优化技术的出现，这一平台将持续为 AI 环境影响的量化研究提供支撑。

研究背景与意义\n\n随着大语言模型（LLM）的广泛应用，一个不容忽视的问题逐渐浮出水面：这些强大的 AI 系统究竟消耗了多少资源？训练阶段的能源消耗已经引起了广泛关注，但对于实际使用更为频繁的推理阶段（即模型响应用户查询的运行时阶段），其环境足迹却缺乏系统性的量化研究。\n\n"How Hungry is AI?" 项目正是为了填补这一空白。由 Nidhal Jegham 等研究者发起，该项目通过开源的数据管道和交互式仪表板，首次对主流 LLM 的推理阶段环境足迹进行了全面评估，涵盖能源消耗、水资源使用和碳排放三个关键维度。\n\n项目概述\n\nHow Hungry is AI? 包含两个核心组成部分：\n\n1. 开源代码仓库：提供完整的数据采集、清洗和分析流程\n2. Power BI 仪表板：实时展示各模型的环境足迹排名和趋势\n\n项目聚焦于推理阶段（Inference Phase）的运营成本，即模型在实际部署后响应查询时产生的环境影响。这与训练阶段（Training Phase）的一次性投入形成鲜明对比——推理成本是持续发生的，随着模型使用量的增长而累积。\n\n研究方法与技术架构\n\n自动化数据管道\n\n项目的核心是自动化数据收集流程，主要步骤包括：\n\n1. 性能指标采集：抓取各模型的延迟（latency）、吞吐量（TPS，每秒 token 数）、基准测试分数等性能数据\n2. 硬件规格整合：结合 GPU 和非 GPU 组件的功耗规格\n3. 基础设施乘数应用：引入 PUE（能源使用效率）、WUE（水资源使用效率）、CIF（碳强度因子）等行业标准乘数\n4. 环境足迹计算：估算每次查询的能源消耗、用水量（现场和来源）和碳排放\n\n数据输出\n\n处理后的数据以 CSV 格式导出到 ./output/ 目录，包括：\n\n- 各模型在不同提示长度下的完整结果表\n- 批次大小敏感性分析（B=4/8/16 对能耗的影响）\n- 硬件推理详情对比（如 GPT-4o mini 在 OpenAI 与 Azure 上的差异）\n- GPT-5 推理模式下的能耗对比数据\n\n核心发现与洞察\n\n路由策略对能耗的显著影响\n\n研究发现，模型的"路由"或"推理模式"选择会显著改变单次查询的能耗。例如，某些模型提供"快速模式"和"深度思考模式"，后者的能耗可能是前者的数倍。这一发现对于设计节能的 AI 应用具有重要指导意义。\n\n硬件基础设施的差异\n\n即使是同一模型，在不同的部署端点（如 OpenAI API vs Azure OpenAI Service）上，由于底层硬件配置的差异（A100 vs H100/H200），其吞吐量和能耗表现也可能存在显著差异。这说明环境足迹不仅取决于模型本身，还深受部署环境的影响。\n\n批次处理的重要性\n\n批次大小（Batch Size）对能效的影响不容忽视。研究表明，适当增加批次大小可以显著提升吞吐量，降低单位 token 的能耗。这为大规模部署的优化提供了方向。\n\n仪表板功能\n\nPower BI 仪表板提供了直观的数据可视化，主要功能包括：\n\n- 模型足迹排名：按能源、水、碳排放排序\n- 延迟与吞吐量对比：性能与环境成本的权衡\n- 等效换算：将模型能耗转换为日常活动（如行驶里程、灯泡照明时长）\n- 时间序列追踪：监控特定模型的日足迹变化\n- 筛选器：按模型系列、提供商、硬件类型等维度筛选\n\n仪表板的公开访问链接为研究者、开发者和决策者提供了透明的数据参考。\n\n技术实现细节\n\n环境配置\n\n项目使用 Python 3.10-3.12 开发，依赖管理简洁：\n\nbash\npython -m venv .venv\nsource .venv/bin/activate\npip install -r requirements.txt\n\n\n数据流程\n\n运行数据清洗和导出脚本：\n\nbash\npython Data_Cleaning_Final.py\n\n\n根据配置，可能需要先运行数据采集脚本获取原始 CSV 输入。\n\n自动化更新\n\n项目包含 GitHub Actions 工作流，支持：\n\n- 定时自动运行数据采集和清洗\n- 将更新后的 CSV 提交到 ./output/ 目录\n\n用户可在 Actions 标签页启用工作流，并在 Settings → Secrets 中配置必要的 API 凭证或数据源访问密钥。\n\n学术引用\n\n该项目伴随一篇学术论文发布，引用格式如下：\n\nbibtex\n@article{jegham2025hungry,\n title={How hungry is ai? benchmarking energy, water, and carbon footprint of llm inference},\n author={Jegham, Nidhal and Abdelatti, Marwan and Koh, Chan Young and Elmoubarki, Lassad and Hendawi, Abdeltawab},\n journal={arXiv preprint arXiv:2505.09598},\n year={2025}\n}\n\n\n使用许可与限制\n\n数据集仅供研究和信息用途。商业使用、再分发或包含在商业产品/服务中需要书面许可或商业许可证。\n\n局限性与未来方向\n\n项目明确声明其研究范围：\n\n- 主要关注运营推理（Operational Inference）的电力消耗及相关水/碳足迹\n- 使用已发布的基础设施乘数进行估算\n- 除非明确说明，不包含训练能耗或隐含（Scope 3）影响\n\n未来研究可以扩展至：\n\n- 训练阶段的完整生命周期评估\n- 硬件制造和废弃处理的隐含排放\n- 更细粒度的实时监测方法\n\n结语\n\n"How Hungry is AI?" 项目为 AI 行业的可持续发展提供了重要的数据基础设施。在 LLM 应用爆发式增长的今天，了解并优化其环境足迹不仅是技术问题，更是社会责任。\n\n对于 AI 开发者，这些数据可以帮助选择更节能的模型和部署策略；对于企业决策者，这是制定绿色 AI 战略的依据；对于研究者，这是探索高效 AI 算法的起点。\n\n项目的开源性质确保了透明度，而仪表板的实时更新则让数据始终保持相关性。随着更多模型和优化技术的出现，这一平台将持续为 AI 环境影响的量化研究提供支撑。