Google Cloud GPU 基准测试配方库：大规模机器学习训练与推理的完整指南

谷歌AI超算团队开源GPU基准测试配方库，提供主流大模型（如GPT-3、Llama-4等）训练与推理的完整可复现方案，支持A3 Mega、A3 Ultra、A4、A4X等多种GPU机型，助力研究者和工程师快速找到最优配置。

随着大语言模型参数规模增长至数千亿，高效训练与推理成为AI基础设施核心挑战。不同硬件、软件、编排工具组合性能差异显著。谷歌AI超算团队开源该配方库，提供从环境准备到结果分析的完整流程，为Google Cloud上大规模ML工作负载部署提供可直接落地的参考实现。

配方库覆盖多款Google Cloud GPU机型：

• A3 Mega（H100）：主流训练平台，支持GPT-3 175B等模型预训练，采用NeMo框架+GKE编排；
• A3 Ultra（H200）：配备H200 GPU，显存与带宽提升，支持Llama-3.1系列预训练，使用MaxText/NeMo框架；
• A4（B200）：基于Blackwell架构，推理与微调表现优异，支持PaliGemma2微调，采用Hugging Face Accelerate框架；
• A4X（GB200 NVL72）：当前最强训练平台，支持Nemotron-4 340B等超大规模模型。

配方库提供详细推理基准：

• Llama-4推理：在A3 Mega上使用SGLang框架；
• DeepSeek R1 671B：支持SGLang和vLLM两种框架；
• GPT OSS 120B：在A3 Ultra上的开源推理方案。包含批处理优化、并发请求处理等关键性能调优参数。

配方库采用模块化设计，每个配方遵循统一结构：

1. 环境准备：集群配置、存储设置、网络优化等基础设施准备；
2. 基准运行：详细执行步骤确保结果可复现；
3. 结果分析：提供性能指标及详细日志，便于深度分析。标准化方法论助力社区技术进步。

对AI基础设施团队：

• 快速启动：基于验证方案直接开展工作；
• 性能基准：了解特定硬件的理论最优性能；
• 调优参考：对比不同配置找到优化方向。 对研究者：可复现结果为评估新算法提供依据，详细日志支持性能分析。

该配方库的发布标志AI基础设施向标准化透明化迈进。未来将扩展至更多模型架构与硬件平台，期待社区贡献优化技巧与最佳实践。对规划或优化AI基础设施的团队，是值得深入研究的开源项目。