AsymCache：面向LLM推理的计算延迟感知KV缓存管理系统

原作者团队（arXiv:2606.02964v1）于2026年6月1日在arXiv发布了AsymCache系统，该系统通过多段注意力机制、联合优化驱逐策略和自适应分块调度三大创新，实现无损KV缓存管理。实验表明，AsymCache可将LLM推理的TTFT降低1.90-2.03倍，TPOT降低1.62-1.71倍，并在智能体服务系统中进一步降低18.1%的平均作业延迟，为长上下文和复杂推理场景提供高效解决方案。

KV缓存是LLM推理的性能基石，通过存储历史token的键值向量避免重复注意力计算，但随序列长度增长内存占用线性增加，易成为GPU内存瓶颈。现有方案中，近似方法牺牲精度换内存，无损方法仅基于访问频率/位置决策驱逐，未考虑KV缓存块对GPU注意力内核效率的影响，导致决策与计算延迟特性脱节。

1. 多段注意力（MSA）：打破传统连续缓存假设，支持高效处理非连续KV上下文，为灵活驱逐缓存块提供基础；2. 联合优化驱逐策略：同时优化缓存命中率与位置感知重计算成本，平衡计算与缓存效率；3. 自适应分块调度器：根据工作负载和GPU状态动态调整处理粒度，最大化硬件利用率。

AsymCache在常见工作负载上表现优异：TTFT降低1.90-2.03倍（减少预填充阶段计算开销），TPOT降低1.62-1.71倍（提升自回归生成效率）；与智能体系统（如Continuum）集成后，平均作业延迟进一步降低18.1%，验证了复杂推理场景的价值。

设计洞察：KV缓存管理需从内存优化转向计算-内存协同优化；非连续KV缓存处理可行且高效；自适应调度对动态工作负载至关重要。总结：AsymCache通过三大创新实现计算延迟感知的KV缓存管理，为LLM推理提供新范式，尤其适用于长上下文和复杂推理场景。

AsymCache技术适用于：1. 长上下文推理：解决长序列KV缓存内存瓶颈；2. 多轮对话系统：支持更长对话历史的有限内存管理；3. 智能体工作流：提升复杂Agent工作流性能，如实验中与Continuum集成的效果所示。