从零实现大语言模型推理优化技术：KV缓存、分页注意力与PD分离

本文深入解析大语言模型（LLM）推理加速的核心技术，包括KV缓存、分页注意力（Paged Attention）和预填充/解码分离（PD Disaggregation），并提供从零开始的实现指南。同时涵盖ORCA迭代级调度、ZeroMQ零拷贝通信等辅助优化技术，以及生产环境下的硬件配置、模型特性适配等关键考量，帮助开发者理解并构建高效的LLM推理服务。

LLM推理速度直接影响用户体验和系统成本，模型规模增长导致延迟和吞吐量成为部署瓶颈。推理过程分为预填充（处理输入提示生成首个token）和解码（自回归生成后续token）两个阶段，二者计算特性和优化策略截然不同：预填充是计算密集型矩阵乘法，解码是内存密集型向量运算。

Transformer自注意力机制中，已生成token的Key/Value（KV）值可缓存复用，避免重复计算。工作原理：生成首个token后保存各层KV张量，后续token仅计算自身Query向量并与缓存KV进行注意力计算。性能提升：CUDA环境下推理速度从39.11 tokens/s提升至42.68 tokens/s，MPS环境下从12.68 tokens/s跃升至33.73 tokens/s，对长序列生成尤为关键。

传统KV缓存预分配固定连续显存块导致浪费，分页注意力借鉴虚拟内存思想，将KV缓存分割为固定大小块（16/32 token），按需动态分配。核心机制：块表记录逻辑块到物理块映射、支持块共享复制、物理块无需连续存储消除碎片。实际收益：提升GPU利用率，支持更多并发请求，vLLM等生产级引擎已广泛采用。

预填充（计算密集）和解码（内存密集）特性差异大，PD分离将二者分配到不同硬件资源。架构：预填充节点用高算力GPU并行处理输入，解码节点优化内存带宽快速生成token，两阶段通过高效通信传递KV状态。性能数据：模拟环境下吞吐量达43.99 tokens/s，预填充仅需0.########秒。

ORCA引擎采用迭代级调度，每个生成迭代动态选择批处理请求，支持混合长度序列、动态调整批大小、最小化流水线气泡。ZeroMQ（ZMQ）用于前端与引擎请求分发、多GPU KV同步、流式结果推送，其发布-订阅和请求-应答模式适配LLM服务通信需求。

开发者建议学习路径：1.基础实现：从贪婪采样理解自回归生成流程；2.添加KV缓存：观察性能提升；3.分页注意力：实现块级显存管理，理解虚拟内存映射；4.高级调度：探索ORCA迭代级调度和PD分离架构。每个阶段需配合性能基准测试量化效果。

生产部署需考虑：硬件配置（PD分离需专门拓扑、分页注意力需足够显存带宽）；模型特性（Llama/GPT/Mistral等架构KV缓存布局差异需针对性调整）；服务级别目标（实时对话优先低延迟，批量任务追求高吞吐）。