GPUSCALE：大规模GPU选型与租赁的LLM推理基准测试平台

GPUSCALE是面向大规模AI工作负载的GPU基准测试项目，旨在为GPU采购和租赁决策提供数据支撑。项目支持本地GPU和云GPU服务（Vast.ai、RunPod），通过标准化容器化测试流程收集Tokens/秒、首Token延迟、VRAM占用、功耗等关键指标，帮助AI服务提供商和研究人员做出明智决策，并为新型加速器设计提供参考基准。

随着LLM在各行业广泛应用，GPU成为AI基础设施核心资源，但市场上GPU型号和云租赁服务繁多，开发者和企业缺乏可靠性能参考数据。现有基准测试过于简化或缺乏LLM推理场景优化。GPUSCALE目标是建立类似Blender Open Data的公开GPU性能数据库，为AI相关GPU任务提供可信赖结果，支撑规模化采购/租赁决策及新型加速器设计。

GPUSCALE采用模块化架构，包含四个核心组件：

1. S3-Attach：管理私有模型权重（如Meta原始Llama权重），存储于Wasabi S3桶；公开模型直接从HuggingFace Hub拉取。
2. Virt-Runner：测试执行引擎，负责基础设施配置、容器化测试、结果收集和资源释放，支持云（Vast.ai/RunPod）和本地GPU测试。
3. DBOps：CLI工具，验证、格式化并提交结果到Supabase数据库，确保数据完整性。
4. Results-Disp：公开排行榜，展示结果并支持多维度筛选比较。

容器化标准化

所有测试在标准化Docker容器中执行，固定推理引擎（llama.cpp、vLLM）、CUDA版本、指标工具等，确保软件栈一致。

推理引擎选择

• llama.cpp：适用于CPU/GPU推理、GGUF模型、单GPU消费级硬件，轻量适合边缘部署。
• vLLM：专为GPU优化，支持全权重/GPTQ模型、多GPU，提供生产级性能。

关键性能指标

指标类别	具体指标	数据来源
吞吐量	Tokens/秒（生成阶段）	引擎统计
延迟	首Token时间（TTFT）	引擎统计
处理速度	Prompt评估速率	引擎统计
显存占用	峰值VRAM使用量	nvidia-smi
功耗	GPU TDP/功耗	nvidia-smi
利用率	GPU平均和峰值利用率	nvidia-smi
热特性	GPU温度	nvidia-smi
总体	完整基准运行耗时	测试框架

标准化工作负载

采用固定参数的标准化Prompt集合，工作负载定义与参数作为元数据存储，确保结果可比性。

云实例运行Linux，容器化确保环境一致；本地测试受操作系统、内核、驱动影响，需记录元数据：

• 操作系统和发行版（如Ubuntu 24.04、Windows 11+WSL2）
• 内核版本（如6.8.0-45-generic）
• 主机NVIDIA驱动版本（如550.54.14）
• Docker运行时版本（如nvidia-container-toolkit 1.16.1） 这些元数据与结果一起存储，便于区分不同本地环境的结果。

GPUSCALE为AI基础设施决策提供数据支撑：

1. 采购决策：对比GPU型号在LLM工作负载下的性能，选择性价比配置。
2. 租赁优化：对比云服务商实例性能和价格，找到适配场景的配置。
3. 容量规划：基于性能数据预测不同规模部署所需GPU资源。
4. 技术选型：评估llama.cpp与vLLM在特定硬件上的表现差异。
5. 趋势追踪：建立历史数据库，追踪GPU性能演进。

GPUSCALE通过系统化基准测试方法论和开放协作模式，为LLM推理场景GPU选型提供可信参考。容器化、标准化流程确保结果可比可重复，模块化架构支持灵活扩展。随着AI工作负载增长，该平台将在硬件选型和基础设施规划中发挥重要作用，社区可共同贡献数据、改进方法论，建立全面权威的AI GPU性能数据库。