LLM推理优化完全指南：从硬件到内核的开源教科书

pyshka501开源的llm-inference-book是系统性的LLM推理优化开源教科书，以端到端视角覆盖硬件架构、量化技术、服务部署、内核优化等核心主题，为AI工程师提供全景式推理性能优化知识体系，帮助应对生产环境中的推理成本与响应速度挑战。

随着LLM从实验室走向生产，推理优化成为AI工程关键挑战。现代AI加速器（GPU/TPU）架构中，LLM推理常受内存带宽限制（内存墙问题），因自回归生成需加载全部参数但计算量小。应对策略包括模型分片、激活重计算、分页注意力（PagedAttention）等。

量化通过将高精度模型压缩到低精度（INT8/INT4）减少内存需求：INT8可减半模型大小且精度损失小，INT4压缩至1/4但有精度损失。方法分为后训练量化（PTQ如GPTQ/AWQ，无需重训）和量化感知训练（QAT，精度更好但成本高），还包括动态量化（实时调整参数）与混合精度（不同层用不同精度）。

服务层优化包括：连续批处理动态增减请求提升GPU利用率；请求调度策略（FCFS/SJF等）平衡延迟与公平性；分页注意力（vLLM）分割KV缓存为块管理，消除内存碎片；推测解码用小型草稿模型生成候选token，大型模型并行验证以减少解码步数。

底层优化涵盖：CUDA编程优化（合并内存访问、共享内存调优）；FlashAttention通过分块计算与重计算避免完整注意力矩阵存HBM，提升效率；Triton内核开发以更高抽象实现高效GPU算子，简化自定义算子原型化。

连续批处理相比静态批处理吞吐量提升数倍；FlashAttention减少内存使用并提升数据局部性；分页注意力充分利用GPU内存；GPTQ/AWQ等PTQ技术在不重训大型模型时保持较好精度；INT8量化几乎不损失精度即可减半模型大小。

llm-inference-book为LLM推理优化提供全面知识框架，覆盖从硬件到内核的完整技术栈。随着模型规模增长与应用扩展，推理优化重要性将愈发凸显，该教科书为从业者建立扎实基础以应对未来技术挑战。

实践中可使用主流推理框架：TensorRT-LLM、vLLM、llama.cpp等（各有适用场景）；需掌握性能分析与调试技巧定位瓶颈，结合教科书理论知识解决实际问题。