CachePrune：隐私感知的细粒度KV缓存共享机制实现高效LLM推理

本文介绍CachePrune，一种隐私感知的细粒度KV缓存共享机制，旨在解决LLM推理中跨用户KV缓存共享带来的侧信道泄露风险，同时实现性能提升。其核心是通过token级缓存管理，精准识别可复用的隐私无关片段，在保护隐私的前提下，将首token时间（TTFT）降低4.5倍，缓存命中率提升44%。该机制基于vLLM框架实现，适用于多租户服务、Agent工作流、检索增强生成（RAG）等场景，为LLM服务的隐私与效率平衡提供了实用解决方案。

KV缓存在LLM推理中至关重要，能将计算复杂度从二次方降为线性，支撑长上下文推理。跨用户共享相似内容的KV缓存可显著提升性能，但也存在侧信道攻击风险——攻击者可通过探测缓存命中推断其他用户输入。现有防御策略一刀切禁用跨用户共享，虽安全但牺牲大量性能优化空间，尤其在公共内容占比高的场景（如Agent系统）损失明显。

CachePrune的核心洞察是隐私风险与缓存复用潜力在token级别可分离。其关键设计包括：1. 灵活的敏感度标注机制，根据场景标记敏感区域；2. 支持变长片段的索引结构，解决任意长度复用请求的高效检索；3. 严格的隐私保证——敏感token的KV表示绝不跨用户共享，从根本切断侧信道攻击路径，并提供形式化隐私分析证明。

CachePrune基于vLLM框架实现，主要组件包括：1. 敏感度感知的KV管理：将请求KV分为私有（敏感token）和共享（非敏感token）两部分，动态分流；2. 变长片段索引：采用分层策略（内容哈希定位、前缀树处理变长、精确比对验证）平衡检索效率与精度；3. 与vLLM的PagedAttention机制集成，最小化代码耦合，便于维护升级。

实验结果表明：1. 隐私保护：完全抵御侧信道攻击，即使在最强威胁模型下也无法泄露敏感信息；2. 性能提升：TTFT降低4.5倍，缓存命中率提升44%，吞吐量显著增长；3. 对比现有方案：安全性等同无共享基线，性能接近全共享基线，优于句子级共享方案；4. 开销分析：敏感度标注延迟可忽略，索引维护开销被收益抵消，内存增量可接受。

CachePrune特别适用于：1. 多租户LLM服务：保证租户隔离同时复用公共内容；2. Agent工作流平台：最大化复用固定工具描述、系统提示等公共内容；3. RAG系统：安全复用重叠知识库文档片段的KV表示。这些场景中，CachePrune能有效平衡隐私与效率，提升服务质量。

CachePrune存在以下局限性：1. 敏感度标注准确性依赖自动化工具，错误标注可能导致隐私泄露；2. 动态内容（如实时更新知识库）的缓存生命周期管理需优化；3. 当前仅支持文本模态，需扩展到多模态KV缓存管理。未来研究将针对这些方向进一步改进。

CachePrune证明了细粒度安全策略的价值，通过精准识别隐私边界，实现隐私保护与性能提升的双赢。其思路不仅适用于KV缓存管理，也为LLM系统其他组件的安全设计提供启发。在LLM服务普及的今天，CachePrune为服务提供商提供了实用方案，助力构建隐私安全、高性能的推理服务。