深入解析 vLLM 的 KV Cache 管理器：从内存碎片到 PagedAttention 的完整技术剖析

本文深入剖析vLLM的KV Cache管理机制，聚焦PagedAttention如何解决内存碎片问题，以及自动前缀缓存（APC）如何跨请求复用计算结果。适合希望理解LLM推理优化底层机制的工程师阅读。文章从作者遇到的Mistral-7B推理吞吐量瓶颈出发，结合源码分析，系统讲解相关技术原理与实践启示。

在LLM生产推理中，常出现GPU利用率有余但吞吐量触顶的现象。KV Cache的本质是存储自回归解码中历史token的K/V张量以避免冗余计算，但朴素方案存在严重内存碎片问题：预分配固定大空间导致浪费，不同请求释放后形成不连续空洞，即使总内存足够也无法分配新请求。此外，KV Cache的显存占用是并发序列数量的关键限制因素（如LLaMA-2-13B模型4096 token序列需约3.1GiB KV Cache）。

vLLM借鉴操作系统虚拟内存分页思想提出PagedAttention：1. 将KV Cache内存划分为固定大小物理块；2. 全局共享池按需分配；3. 每个请求用块表记录逻辑块到物理块映射；4. 注意力内核运行时重组分散块。此方案消除外部碎片，内部碎片最多为每个请求B-1个token（B为块大小）。与虚拟内存类比：逻辑块对应虚拟页，物理块对应物理页框，块表对应页表。

APC是可选特性（需启用配置），建立在块分配器之上，实现跨请求共享提示词前缀的K/V块。工作机制：请求完成后块归还空闲池但不立即清除，通过内容哈希索引；新请求前缀匹配时，复用已存在的块跳过预填充。哈希链设计确保序列完全匹配才复用（含前缀哈希、LoRA适配器ID等额外键）。APC能节省预填充计算，但不降低解码成本。

基于vLLM v1源码，核心组件包括：1. KVCacheBlock：原子单元，跟踪block_id、引用计数、哈希（APC启用时）；2. FreeKVCacheBlockQueue：自定义双向链表，支持O(1)任意位置移除（APC命中时提取块）；3. BlockPool：分配接口，管理块集合、空闲队列及APC哈希映射；4. KVCacheManager：面向调度器的接口，处理分配、前缀命中检查，与调度器分离抢占策略。

作者原遇到的吞吐量瓶颈可能源于APC命中率过低（前缀块被淘汰前未被复用）。可行优化方向：应用层最大化共享前缀（一致的系统提示模板、结构一致性）；调整gpu_memory_utilization参数给缓存池更多余量。目前为假设，需实际追踪数据验证。

vLLM的KV Cache管理是精妙工程设计：PagedAttention解决内存碎片，APC提供跨请求复用。对生产部署的启示：1. 深入机制可准确诊断性能瓶颈；2. 基于原理做出配置调优；3. 设计应用策略以利用缓存特性。面对性能问题，应深入源码、从第一性原理出发，而非盲目调参。