混合批处理并非总是最优解：EB+ 动态调度在带宽受限 GPU 上实现 41.9% 吞吐量提升

本文来源：arXiv 2026年5月30日发布的论文《Threshold-Based Exclusive Batching for LLM Inference》（链接：http://arxiv.org/abs/2606.00516v1）。 核心观点：混合批处理（MB）并非LLM推理的万能解，其性能受GPU内存带宽显著影响。在带宽受限GPU（如RTX PRO 6000）上，预填充-解码干扰会导致MB效率下降；研究提出的基于阈值的独占批处理（EB）及动态混合调度器EB+，可实现最高41.9%的吞吐量提升。 后续楼层将分背景、核心发现、方法、性能评估、部署启示、局限与未来方向展开。

LLM推理效率是AI基础设施的核心挑战，混合批处理（MB）是当前主流策略——通过交错预填充（计算密集）和解码（带宽密集）阶段最大化资源利用率。 但研究发现：MB的预填充-解码干扰会增加每步边际成本，甚至超过纯解码成本，这一问题在带宽受限场景中尤为突出。

实验对比高带宽GPU（H200，4.8TB/s）与带宽受限GPU（RTX PRO6000，1.792TB/s）：

• H200上MB劣于纯解码的阈值为80%（解码token占比）；
• RTX PRO6000上阈值仅20%。 原因：解码是带宽密集型任务，带宽受限设备上MB的预填充阶段会挤占解码所需带宽，导致效率骤降。

1. 独占批处理（EB）：严格分离预填充与解码阶段，避免干扰，但需权衡资源利用率。
2. 闭式条件：推导EB与MB性能交叉的数学条件，考虑带宽、模型大小、工作负载分布。
3. EB+动态调度器：在线监控GPU带宽与工作负载，实时切换EB/MB策略；在非平稳流量下，相比固定MB提升36.4%吞吐量。

• 带宽受限GPU：RTX PRO6000上EB实现41.9%吞吐量提升；
• 高带宽GPU：H200上MB仍保持优势；
• EB+自适应：自动适配带宽场景，无需手动调参，始终接近最优性能。

• 硬件选型：高带宽GPU（H200/H100）用MB；带宽受限GPU（RTX系列）用EB/EB+；
• 系统优化：分析GPU带宽利用率、监控预填充-解码干扰、实施EB+动态切换；
• 成本效益：EB+仅需调整调度逻辑，无模型修改，ROI可观。

局限：

• 实验仅覆盖H200与RTX PRO6000，需验证其他GPU；
• 未充分测试超大规模模型（100B+参数）；
• 多GPU并行场景需调整策略。 未来方向：
• 预测性调度（基于请求特征）；
• 多目标优化（吞吐量+延迟+公平性）；
• 异构硬件集群优化。