LLM推理框架性能对决：vLLM、SGLang与Ollama在Ampere与Hopper架构上的深度评测

本文针对vLLM、SGLang、Ollama三大主流LLM推理框架，在NVIDIA Ampere（A10G）与Hopper（H100）两代GPU上进行系统性性能评测，核心发现包括：SGLang在H100上实现3.4倍于vLLM的吞吐量优势，且单请求延迟显著更低；Ollama在高并发场景下存在架构性瓶颈；SGLang能更充分利用新一代GPU硬件能力。本文将从背景、测试方法、核心结果、选型建议等维度展开分析，为框架选型提供量化依据。

随着大语言模型生产部署普及，推理框架性能差异直接影响服务成本与用户体验。当前主流框架包括vLLM（PagedAttention优化）、SGLang（Runtime优化）、Ollama（本地部署导向），但开发者面临不同硬件代际、并发负载下真实表现不明确的问题。现有测试多集中单一平台或框架，缺乏跨GPU架构、跨框架的系统性对比。本评测基于A10G与H100两代GPU，采用统一方法论，为选型提供可量化决策依据。

本次测试由Northeastern University的Shivansh Singh主导，遵循MLPerf Inference规范。核心测试参数：模型为Llama3.1 8B Instruct（AWQ-INT4量化），数据集为ShareGPT真实对话，并发级别1/8/32/64/128，每级300请求（排除10预热），最大输出128token，评估指标TTFT/TPOT/ITL/端到端延迟（P50/P95/P99）。硬件配置对比：

硬件	A10G	H100 SXM
架构	Ampere (sm_86)	Hopper (sm_90)
显存	24 GB GDDR6X	80 GB HBM3
内存带宽	600 GB/s	3,350 GB/s
FlashAttention	v2	v3

两套平台模型与软件环境一致，仅硬件不同。

测试结果显示SGLang在两GPU平台均显著领先vLLM，优势随硬件升级放大：

吞吐量对比

GPU平台	vLLM	SGLang	SGLang优势
A10G	739 tok/s	1,151 tok/s	1.6x
H100	1,814 tok/s	6,242 tok/s	3.4x

从A10G到H100，SGLang性能提升5.4倍，vLLM仅2.5倍，表明其更能利用H100的HBM3带宽与FlashAttention-3优化。

单请求延迟

H100上单请求SGLang延迟仅450ms，vLLM达4359ms（近10倍差距）；A10G上SGLang亦保持亚秒级响应，对延迟敏感型应用（如聊天机器人）至关重要。

Ollama在高并发场景表现出明显架构限制：并发用户超8后成功率急剧下降，128并发时成功率仅0.7%。根源在于底层llama.cpp引擎采用固定槽位并行架构，无动态批处理机制，并发超预设槽位时请求被拒绝或超时。适用场景建议：个人本地开发、低并发边缘部署、延迟不敏感后台任务；高并发生产环境建议选vLLM或SGLang。

SGLang在H100实现5.4倍性能提升（vLLM仅2.5倍），源于：1.内存带宽利用率：H100带宽是A10G的5.6倍，SGLang访问模式更适配；2.计算调度：Hopper Tensor Core改进与SGLang算子融合契合；3.自动内核优化：两GPU均自动转换为awq_marlin内核无需手动调优。ROI启示：vLLM升级H100获2.5倍提升；迁移SGLang+升级H100综合收益达8.4倍（3.4x×2.5x），框架迁移+硬件升级组合更具成本效益。

基于评测结果，不同场景选型建议：

• 高吞吐量服务（API/批量推理/多租户）：推荐SGLang（动态批处理、KV Cache管理、Runtime优化）；
• 延迟敏感应用（聊天机器人/实时助手）：推荐SGLang（亚秒级响应）；
• 快速原型开发（个人/本地测试/低并发Demo）：可选Ollama（易用性），但避免生产部署；
• 存量系统迁移：vLLM仍稳定可靠，生态成熟，若无法承担迁移成本可继续使用。

本次测试局限：1.每个配置仅运行一次，无置信区间；2.GPU时钟未锁定，可能5-15%波动；3.闭路负载生成（信号量控制），非开路泊松到达；4.仅测试Llama3.1 8B，其他模型表现可能不同。未来扩展方向：更大参数模型（70B/400B）、多GPU张量并行、长上下文（32K+）推理、不同量化方案（FP8/GPTQ）对比。