DepthKV：按层分配预算，让长上下文推理的 KV 缓存更聪明地瘦身

DepthKV提出层依赖的KV缓存剪枝框架，针对长上下文LLM推理的内存瓶颈，根据Transformer各层对剪枝的敏感度差异分配全局缓存预算，在相同压缩比下持续优于传统均匀剪枝方法，为内存优化提供新思路。

内存挑战

长上下文能力（如128K窗口）带来文档理解等应用，但KV缓存内存随序列长度线性增长，成为GPU显存最大消耗者，限制上下文长度和并发请求。

现有剪枝不足

多数剪枝方法采用均匀比例假设，导致不敏感层浪费缓存、敏感层过度剪枝，资源分配非最优。

实验发现：不同层对剪枝敏感度差异明显。底层负责局部词法/句法，对远距离token依赖弱；部分中间/高层承担长距离依赖建模，对缓存完整性更敏感。一刀切策略无法最优分配资源。

1. 敏感度评估：部署前用少量校准数据探测每层剪枝对输出的影响，得到层级敏感度分布。
2. 预算分配：通过优化算法/启发式规则，将全局缓存预算差异化分配给各层（敏感层多配额，不敏感层激进剪枝）。
3. 低开销：敏感度评估仅需一次，推理时无额外运行时开销。

• 性能优势：多模型多任务验证，相同剪枝比例下效果更优，高剪枝比例（20%-30%）时提升更显著。
• 任务适配：在长距离检索（如大海捞针）和长文档摘要任务中均有效。
• 兼容性：可与现有剪枝策略（如注意力得分剪枝）组合，提供额外收益。

1. 分层配置：避免盲目均匀剪枝，先探测层敏感度确定安全压缩层。
2. 诊断工具：敏感度评估可帮助理解模型长上下文处理机制，指导架构设计/微调。
3. 显存受限场景：为边缘设备或高并发服务提供更激进的缓存压缩方案，降低成本。

• 局限：敏感度评估依赖校准数据，不同数据可能导致分布差异。
• 未来：扩展动态预算分配（根据输入特性实时调整）；将核心思想推广到量化、混合精度推理等优化技术。

DepthKV通过差异化分配缓存预算解决层间剪枝敏感度问题，在不增加运行时开销的前提下提升剪枝效果，是长上下文推理内存优化的值得关注的方案。