LLM Inference Bench：大语言模型推理性能基准测试工具

一个用于研究LLM推理性能的机器学习系统基准测试项目，专注于FP16精度下的批次扩展基准测试。

• 原作者/维护者： yijinwang2003-wq
• 来源平台： GitHub
• 原始标题： LLM Inference Bench: ML systems benchmark for LLM inference performance
• 原始链接： https://github.com/yijinwang2003-wq/llm-inference-bench
• 发布时间： 2026年5月28日

随着大语言模型（LLM）在生产环境中的广泛应用，推理性能优化成为关键挑战。然而，性能调优往往缺乏可靠的基准数据支撑：

• 吞吐与延迟的权衡：更大的批次可以提升GPU利用率，但也可能增加单批次延迟
• 优化技术评估：量化（INT8/INT4）、专用推理引擎（vLLM、TensorRT-LLM）的效果需要量化评估
• 硬件选型：不同GPU型号对LLM推理的实际表现差异

LLM Inference Bench项目旨在建立一个干净、可重复的FP16基线，为后续优化提供参考点。

当前实验专注于以下核心指标：

• 吞吐量：每秒生成的token数（tokens/second）
• 延迟：单批次生成耗时（毫秒）
• GPU内存使用：CUDA显存占用情况
• 批次扩展性：不同批次大小（1, 8, 32）下的性能变化

模型配置：

• 模型：meta-llama/Llama-3.2-3B-Instruct
• 精度：FP16（半精度浮点）
• 后端：HuggingFace Transformers
• 硬件：Google Colab CUDA GPU

测试流程：

1. 使用30个固定提示词作为测试集
2. 每个批次大小先执行warmup生成
3. 运行5轮正式测试，记录每次的延迟、生成token数、吞吐量
4. 立即写入CSV，确保即使后续批次内存不足也不会丢失已完成数据

矩阵式测试：

batch_sizes = [1, 8, 32]
runs = 5
warmup_runs = 1
max_new_tokens = 32

llm-inference-bench/
├── data/
│   └── prompts.json              # 30个固定测试提示词
├── outputs/
│   ├── fp16_aggregated_metrics.csv    # 聚合指标
│   ├── fp16_throughput_vs_batch.png   # 吞吐量图表
│   ├── fp16_mean_latency_vs_batch.png # 平均延迟图表
│   ├── fp16_p95_latency_vs_batch.png  # P95延迟图表
│   └── fp16_memory_vs_batch.png       # 内存使用图表
├── scripts/
│   ├── generate_prompts.py       # 生成测试提示词
│   ├── run_experiment_matrix.py  # 执行测试矩阵
│   ├── plot_results.py           # 绘制结果图表
│   └── run_benchmark.py          # 主运行脚本
└── src/
    ├── benchmark.py               # 基准测试核心逻辑
    ├── config.py                  # 配置管理
    ├── metrics.py                 # 指标计算
    ├── model_loader.py            # 模型加载
    └── results.py                 # 结果处理

python -m venv venv
source venv/bin/activate
pip install -r requirements.txt

python scripts/generate_prompts.py