llm_perf：大语言模型推理性能的第一性原理分析框架

llm_perf是一个轻量级、基于第一性原理的LLM推理性能建模框架，核心目标是在构建或租用硬件集群前预测延迟、吞吐量和内存占用。它支持解码阶段、预填充阶段、端到端指标及分离式预填充/解码的完整分析，通过数学建模替代经验测试，帮助降低试错成本，加速系统优化迭代。

传统LLM推理性能分析依赖实际部署后的测试，成本高昂且迭代缓慢。llm_perf填补了系统设计阶段的空白，能够在代码部署前回答关键问题：模型在特定硬件上能否运行？不同并行策略（TP/PP/EP/SP）对性能的影响？预填充与解码阶段的资源需求差异？分离式部署是否值得？

llm_perf的核心是五阶段分析管道：1.内存模型（计算权重、激活值、KV缓存的内存占用）；2.FLOPs模型（考虑MHA/GQA/MoE的预填充和解码FLOPs）；3.流量模型（HBM流量计算，为Roofline分析提供输入）；4.通信模型（计算TP/EP/SP/PP的集合通信时间）；5.延迟模型（基于Roofline和重叠感知预测延迟）。此外，支持解码管道（批处理、B*分析）、预填充管道（分块预填充）、端到端指标组装、分离式部署建模及框架开销处理。

案例研究使用GPT-1.8T MoE @ FP4在GB200 NVL72配置下得出：1.分块预填充最优块大小C*≈2048token；2.HBM带宽影响并行策略（低带宽偏好宽TP，高带宽使TP成为纯开销）；3.框架开销对高交互性场景影响大，但不改变最优分区选择；4.分离式预填充/解码对2-32k短上下文不值得，仅64k+长上下文受益。

llm_perf采用纯函数式设计（无全局状态），拥有类型化规格数据库（JSON文件组织），支持HuggingFace适配器（从HF config转换为模型规格），提供DRAM3D工具（推导HBM带宽），并通过分区最优Pareto扫描提取有效配置的前沿。

llm_perf适用于：1.硬件采购决策（评估不同GPU配置适用性）；2.并行策略优化（平衡延迟与吞吐量）；3.服务容量规划（预测并发请求数和QPS）；4.架构设计权衡（评估分离式部署等特性收益）；5.性能瓶颈诊断（对比预测与实际测量）。

llm_perf代表了LLM推理性能分析从经验试错到第一性原理建模的新范式。它通过严谨数学建模和丰富案例研究，为LLM基础设施规划与优化提供强大工具，是LLM服务提供商、云厂商AI团队及研究人员的宝贵开源资源。