LLM推理中的填充令牌开销：张量与流水线并行配置下的效率研究

本研究针对大语言模型（LLM）推理过程中填充令牌对计算效率的影响展开系统性基准测试，基于Qwen2.5-32B模型在NVIDIA A100 GPU集群上的实测数据，揭示了张量并行（TP）与流水线并行（PP）两种分布式并行策略下的性能差异，并提出相应优化方向，为LLM推理系统架构设计提供数据驱动决策依据。

LLM部署中批处理是提升GPU利用率的关键，但输入序列长度不一致需引入填充令牌统一长度。这些令牌不参与语义计算却消耗显存和计算资源，成为效率隐形杀手。当前主流框架（如vLLM、TensorRT-LLM）通过分页注意力或动态批处理缓解问题，但填充令牌在不同并行配置下的具体开销缺乏系统性量化研究，这是本项目的研究价值所在。

本项目由divide-by-zer0团队开源发布，采用Qwen2.5-32B模型在A100 GPU集群测试。实验涵盖两种并行策略：

• 张量并行（TP）：单层计算拆分到多GPU，适用于单节点多卡；
• 流水线并行（PP）：模型分层部署到不同GPU，适用于跨节点大规模场景。 团队通过控制变量法，测试不同批大小、序列长度及并行度组合下填充令牌对延迟和吞吐量的影响。

实验关键洞察：

1. 张量并行下，填充开销与并行度呈非线性关系——TP维度增加降低单卡压力，但跨卡通信开销因填充放大，可能抵消收益（尤其序列长度差异大的批次）；
2. 流水线并行处理变长序列更优——填充仅影响所在阶段计算，无跨层传播开销，动态批处理鲁棒性更好；
3. 填充对显存影响被低估——32B模型10%填充比例可能导致数GB显存浪费，长序列场景（如文档理解）更突出。

基于发现提出优化建议：

1. 智能批处理：根据序列长度分布动态选择批大小，避免过度填充；
2. 混合并行：节点内用TP、跨节点用PP，平衡计算与通信开销；
3. 填充感知调度：调度层预估填充成本，优先组合长度相近请求；
4. 序列打包：借鉴图像打包思想，探索非连续内存注意力计算。

本研究量化填充开销，为LLM推理架构提供支撑。随MoE和多模态模型普及，填充问题将更严峻。未来期待：

• 硬件层面：稀疏注意力加速；
• 算法层面：动态序列重组；
• 系统层面：请求预测与预填充。 开源社区创新将推动领域发展，本研究为后续工作奠定基础。