台湾杉2号超算上的LLM推理优化：V100集群的吞吐量实验

本文介绍开源项目LlmInferenceOnTaiwania，记录在台湾杉2号超级计算机V100 GPU集群上的LLM推理优化实验，探索HPC环境下最大化推理吞吐量的方法，为模型部署提供实践经验。核心围绕vLLM引擎的应用与优化策略展开。

台湾杉2号硬件规格

• 252个GPU节点，共2016颗NVIDIA V100 GPU
• 单节点：8颗V100（32GB HBM2显存）+2颗Intel Xeon Gold CPU
• 互联：NVLink + InfiniBand EDR

核心问题

在HPC资源限制（1小时作业、最多2节点16颗V100）下，如何最大化LLM推理的聚合输出token吞吐量？意义包括降低成本、减少延迟、提升资源利用率。

vLLM引擎核心技术

• PagedAttention：借鉴虚拟内存分页，将KV缓存分块，提高内存利用率
• 连续批处理：动态添加/移除请求，避免静态批处理的等待空闲
• 版本选择：vLLM 0.7.0（兼容V100的Compute Capability 7.0）

实验优化策略

• 张量并行：分割模型参数到多GPU
• 流水线并行：按层分割模型形成流水线
• 批量大小调优：平衡显存与算力利用
• 量化技术：探索INT8/FP16降低显存占用

测试配置：2节点16颗V100，1小时作业，覆盖不同输入输出长度。

核心发现

连续批处理是最关键的优化手段，优势包括：

1. 消除静态批处理的空闲等待
2. 适应真实场景的变长序列
3. 显著提升GPU利用率

其他优化效果

• 多GPU并行：16颗V100实现接近线性的吞吐量扩展
• 内存优化：调整KV缓存支持更长上下文
• 调度策略：优化资源分配

结果验证了vLLM设计理念的有效性。

1. 框架选择：vLLM适合高吞吐量场景，延迟敏感场景可考虑TensorRT-LLM
2. 版本匹配：旧GPU（如V100）优先选择兼容稳定版本，而非最新版
3. HPC调度：利用SLURM等调度系统合理分配资源
4. 监控调优：建立监控体系，持续收集性能数据优化

项目提供可复用的配置与脚本，降低部署门槛。

V100硬件的固有局限：

1. 显存容量：32GB对70B+参数模型紧张，需依赖模型并行
2. 计算能力：不支持稀疏计算等新特性，效率不及A100/H100
3. 互联带宽：NVLink带宽较新一代低，大规模并行时可能成瓶颈

这些限制影响了模型规模与优化效果。

本项目证明在老旧硬件（V100）上，通过软件优化（尤其是连续批处理）可实现满意的推理吞吐量。为科研机构提供可复用方案，也为硬件升级提供数据支持。

期待更多开源项目推动AI在HPC领域的普及，助力大语言模型在科研中的应用。