KV缓存压缩的新思路：最小干预的多样性惩罚策略

本文针对大语言模型推理中KV缓存内存占用的瓶颈问题，系统评估七种现有压缩机制后均未通过严格验证，提出一种最小干预的Alpha方法——通过在KV选择中引入基于设施选址问题的多样性惩罚策略，仅修改单个函数即取得显著效果。该方法经预注册实验验证，在特定模型与预算条件下有效，且简单改进胜过复杂结构性重设计。

大语言模型推理效率瓶颈源于KV缓存随序列长度线性增长的内存占用，资源受限场景下压缩需求迫切。但KV缓存压缩设计空间复杂（含表示方式、路由策略等多维度），研究者难辨有效改进。本研究预注册评估七种跨五大家族的机制，均未通过统计检验，揭示领域可能存在大量“假阳性”结果。

Alpha方法对现有TriAttention保留评分器做最小修改：将argmax-top-k替换为基于设施选址问题的贪婪选择策略，引入由λ控制的冗余惩罚项。实现步骤为：计算KV重要性分数→迭代选择最大化边际增益的KV（考虑与已选集合的相似度冗余）。λ=0.5时表现最佳，平衡准确性与多样性。

实验以数学推理任务（MATH-500数据集）为基准（需长程依赖，对KV质量要求高），使用Qwen-7B和Llama-8B的DeepSeek-R1-Distill推理模型，聚焦64/128小预算场景。预注册协议中λ在开发集调优、测试集验证，需通过Bonferroni校正多重检验。结果：λ=0.5时，Qwen b=128和Llama b=64通过检验，无显著负面结果。

研究最显著发现为不对称性：仅修改评分函数的Alpha方法，性能超过七种更复杂的结构性重设计。这挑战“更大架构改动必更好”的假设，核心洞察是多样性惩罚的重要性——有限预算下保留多样化信息比单个最优选择更关键。严格预注册与统计检验使该发现显现。

局限性：仅部分测试条件通过严格检验，有效性可能依赖模型/任务特性；仅限数学推理任务，其他任务（如代码生成）适用性待验证。未来方向：自适应调整λ参数；探索与量化/剪枝等技术组合；在更大模型验证效果。

启示包括：1.严格评估（如预注册、统计检验）是区分真实进步与虚假信号的关键；2.最小干预价值：简单可解释方法常比复杂黑箱方案更实用；3.资源受限下信息多样性的重要性，可推广至其他压缩/选择问题。