长上下文LLM推理性能基准测试：从8K到128K+的内存与延迟分析

本项目是一个系统化的开源基准测试框架，旨在测量长上下文工作负载对大型语言模型推理性能的影响，涵盖多种模型架构、硬件配置和推理框架的对比分析。核心目标是揭示长上下文场景下的性能瓶颈（如注意力计算复杂度、KV缓存内存占用、批处理效率等），为开发者和研究者提供客观数据支撑，助力模型选型、硬件配置及部署框架的决策。

随着LLM上下文窗口从8K扩展到128K+，传统短文本推理优化策略已无法应对新挑战。LLM_Inference开源项目应运而生，通过系统化、可复现的基准测试，回答长上下文跨越数量级增长时的关键性能瓶颈问题，为跨模型、硬件、框架的决策提供标准化测量体系。

项目建立全面性能评估指标：

• 时间维度：TTFT（首token延迟）、TPOT（每输出token平均时间）、总延迟；
• 吞吐与资源：每秒生成token数、峰值GPU内存、KV缓存内存估算、成功/失败状态（如OOM）。所有结果附带元数据（模型、后端、硬件、上下文长度、批处理大小等），确保跨平台可比性。

不同注意力机制表现差异显著：

• MHA：表达能力强，但KV缓存随头数线性增长，长文本内存压力大；
• GQA/MQA：通过共享KV降低缓存占用，是内存优化方案。项目量化这些架构对延迟和吞吐的影响，帮助理解“内存换速度”或“速度换内存”的代价，对资源受限环境部署具有参考价值。

主流框架对比：

• Hugging Face Transformers：基线参考，直接推理能力强，但长上下文高吞吐场景可能有瓶颈；
• vLLM：连续批处理+分页KV缓存，提升吞吐量，适合高并发服务；
• TensorRT-LLM：英伟达编译优化，算子融合+量化最大化GPU利用率，追求极致单次性能。同一硬件和工作负载下的对比将揭示各优化策略适用边界。

支持两种核心测试模式：

• 上下文长度扫描：固定批处理=1，逐步增加输入长度（8K→16K→32K→64K），识别性能衰减临界点或OOM临界长度；
• 批处理规模扫描：固定上下文长度，改变批处理大小（1→2→4→8），研究吞吐与延迟权衡。结果以JSONL格式存储，提供汇总脚本生成统计报告。

模块化设计：

• benchmark模块：后端无关的实验配置、提示生成、指标收集、结果存储；
• backends模块：各推理框架独立实现，遵循统一接口；
• analysis模块：聚合分析与可视化工具。添加新后端只需实现标准接口，vLLM和TensorRT-LLM支持已在规划中。

后续计划：引入流式生成路径直接测量TTFT、支持推理/视觉语言模型、完善批处理运行。社区价值：填补长上下文基准测试空白，推动领域标准化，促进经验共享，为持续增长的上下文长度场景提供系统化性能分析基础设施。