NVIDIA LLM推理基准测试：从单请求到生产级负载的全面对比研究

本研究通过系统性基准测试框架，对比Hugging Face Transformers、vLLM和TensorRT-LLM三大主流LLM推理引擎在延迟、吞吐量及系统行为上的差异。实验覆盖从消费级RTX 3090到数据中心级A100的硬件配置，分为五个递进阶段（本地原型→配置驱动→双引擎对比→三引擎全面对比→生产级负载测试），旨在为开发者和架构师提供科学的技术选型参考。

随着LLM从研究走向生产部署，推理效率成为成本关键，但面对众多引擎选择（如HF Transformers、vLLM、TensorRT-LLM），开发者常难以决策。nvidia-llm-inference-bench项目应运而生，通过五阶段实验从本地到生产级负载全面评估引擎差异，覆盖多硬件配置，为不同规模部署提供实证参考。

实验采用分阶段迭代方法论：

1. 本地基线建立：用distilgpt2验证流程正确性（提示词管理、延迟/吞吐量计算等）；
2. 配置驱动框架：重构为YAML配置驱动，支持可复现结果与聚合摘要；
3. 双引擎对比：RTX3090上对比HF Transformers与vLLM，发现vLLM延迟更低、吞吐量更高；
4. 三引擎全面对比：加入TensorRT-LLM，评估三者在不同输出长度下的性能；
5. 生产级负载测试：模拟QPS流量，测试引擎在高并发下的表现（如vLLM饱和点、TRT-LLM高负载优势）。

单请求性能（Phase4）

• 吞吐量：TensorRT-LLM（默认输出50.7 tok/s）> vLLM（50.3 tok/s）> HF Transformers（~42-43 tok/s）；
• 延迟：TensorRT-LLM（默认输出1.26s）略优于vLLM（1.27s），HF明显更高（~1.50s）。

生产负载表现（Phase5）

• RTX3090：vLLM在30 QPS以下线性扩展，超过后延迟剧增；TensorRT-LLM在高QPS下延迟降低25-30%，吞吐量提升30-35%；
• A100：vLLM凭借连续批处理优势，最大可持续吞吐量（49 QPS）远超Triton+TensorRT-LLM（36 QPS）；
• Triton+TRT-LLM：适合多模型生产管道，但单模型高并发场景调度开销成为瓶颈。

1. 严格控制变量：相同模型（Qwen2.5-7B-Instruct）、硬件、对齐tokenizer、固定输出长度；
2. 渐进式复杂度：从本地原型到生产级A100测试，每个阶段有明确目标；
3. 丰富可视化：生成延迟对比图、吞吐量曲线、QPS扩展趋势等；
4. 可复现流程：所有配置、脚本纳入版本控制，配合README文档支持复现。

核心结论

• 单请求场景：TensorRT-LLM追求极致性能，vLLM性能接近且生态活跃，HF适合快速原型；
• 生产负载：RTX3090高QPS选TensorRT-LLM，A100高并发选vLLM，多模型选Triton+TRT-LLM。

选型决策框架

场景	推荐引擎	理由
快速原型/研究	HF Transformers	简单易用无额外依赖
高并发单模型服务	vLLM	连续批处理优化，社区活跃
极致性能追求	TensorRT-LLM	内核融合，GPU利用率最高
多模型生产管道	Triton+TensorRT-LLM	成熟模型管理与服务编排
边缘/资源受限部署	vLLM	灵活内存管理与量化支持

当前局限

• 工作负载多样性有限（未评估256-512 token长生成）；
• Triton动态批处理未充分优化；
• 负载模式单一（稳态QPS，无突发流量）；
• 聚焦单GPU，未探索多GPU分布式推理。

未来计划

• 长输出基准测试；
• Triton动态批处理调参；
• 突发流量模拟；
• GPU利用率关联分析；
• 多GPU扩展评估。