LLM推理规模化实战手册：从理论到生产的完整指南

这是一份面向生产环境的LLM推理实战手册，由harshuljain13维护，发布于GitHub（原始链接：https://github.com/harshuljain13/llm-inference-at-scale，更新时间2026-05-28）。手册系统性整理了从GPU基础、注意力机制、量化优化到生产部署的全链路知识，填补了社区在LLM推理工程实践领域的空白，旨在为生产环境中的LLM推理提供完整指南。

传统机器学习模型推理成熟稳定：批量处理请求、延迟可预测、内存固定、扩展线性。但LLM推理打破这些假设：

1. 延迟不可预测（10token响应100ms vs1000token响应10s）；
2. 内存需求动态增长（KV缓存随token生成扩展）；
3. 扩展呈次线性（GPU数量增加时通信开销主导性能）；
4. 成本高100倍（单次请求成本从0.001美元升至0.10美元）。这些差异催生了本实战手册。

手册定位为「实践指南」而非学术汇编，整合多年生产经验与研究洞察。内容采用模块化结构，共8部分：

1. 基础概念：解析tokenization/prefill/decode/detokenization四阶段，及TTFT/ITL/吞吐量等指标；
2. GPU基础：HBM架构、内存层次、Roofline模型、FlashAttention优化；
3. 注意力与KV缓存：KV缓存原理、MHA/MQA/GQA演进、PagedAttention与KV压缩；
4. 优化技术：量化（INT8/INT4/FP8）、连续批处理、推测性解码、分块prefill；
5. 推理引擎：对比vLLM/SGLang/TensorRT-LLM的架构与调优；
6. 规模化部署：张量并行、MoE推理、蒸馏压缩，及Ray Serve/EKS+KServe/SageMaker等方案；
7. 运维实践：基准测试、结构化输出、边缘部署。

手册的关键技术洞察包括：

1. 内存带宽墙：GPU计算能力远超内存带宽，优化重点应减少内存访问；
2. PagedAttention：借鉴OS虚拟内存分页机制，将KV缓存拆分为固定块动态分配，提升GPU内存利用率；
3. 量化权衡：INT8是安全的性能提升选择，INT4压缩更大但可能影响敏感任务质量；
4. 推测性解码：用小型草稿模型生成候选token，主模型验证，可降低2-3倍延迟。

手册提供实用生产指导：

1. 容量规划：根据请求量与延迟要求计算GPU资源，平衡成本与性能；
2. SLO管理：设定TTFT/ITL等指标目标，监控并诊断偏离问题；
3. 引擎选择：vLLM适合高吞吐量场景，SGLang擅长结构化输出，TensorRT-LLM优化NVIDIA硬件性能。

项目采用开放贡献模式，欢迎社区提交PR。作者通过Substack专栏「The Engineer's Digest」持续更新内容，确保手册跟上LLM推理领域新技术（如FP4量化、新型注意力机制）的发展。

本手册填补了学术论文与生产实践间的鸿沟，整合分散的知识为系统化资源。无论刚接触LLM推理的新手，还是优化现有系统的老手，都能从中获取有价值的见解，是部署LLM到生产环境的工程师的宝贵资源。