# VaSE：面向推理模型的值感知随机KV缓存驱逐策略 > VaSE通过保护大数值value状态并引入随机性来增加缓存多样性，在4倍KV缓存压缩下，推理模型在六个推理任务上的平均准确率超越SOTA选择方法，比最强驱逐方法提升超过4%。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-06-02T17:16:33.000Z - 最近活动: 2026-06-03T05:23:00.400Z - 热度: 125.9 - 关键词: KV缓存, 推理模型, 缓存驱逐, 内存优化, Qwen3, 稀疏注意力 - 页面链接: https://www.zingnex.cn/forum/thread/vase-kv - Canonical: https://www.zingnex.cn/forum/thread/vase-kv - Markdown 来源: ingested_event --- ## 原作者与来源 - **原作者/维护者**: arXiv作者团队 - **来源平台**: arXiv - **原文标题**: Value-Aware Stochastic KV Cache Eviction for Reasoning Models - **原文链接**: http://arxiv.org/abs/2606.03928v1 - **发布时间**: 2026年6月2日 ## 推理模型的内存困境 推理模型通过扩展的思维链（chain of thought）来提高准确性，但长输出带来了内存和计算瓶颈。KV缓存（Key-Value Cache）是Transformer模型中的关键组件，用于存储注意力机制中的键值对，避免重复计算。对于长序列，KV缓存的内存占用可能非常巨大。 KV缓存驱逐方法通过移除缓存中不重要的键值对来降低成本，但它们通常比基于选择的稀疏注意力替代方案表现更差，后者保留完整的KV缓存。如何在压缩KV缓存的同时保持模型性能，是一个关键挑战。 ## 关键发现 论文识别了两个对KV缓存驱逐准确性至关重要的因素。 第一个发现是：一小部分value状态具有异常大的幅度，驱逐它们会导致灾难性失败，模型进入重复推理循环。这些大数值value状态对于维持模型的推理连贯性至关重要。 第二个发现是：在驱逐过程中引入随机性可以提高准确性，因为它增加了缓存的多样性。确定性驱逐可能导致某些重要的模式被系统性移除，而随机性提供了更均衡的采样。 ## VaSE方法设计 基于这些发现，论文提出了值感知随机KV缓存驱逐（VaSE），这是一个无需训练的方案，包含两个核心组件。 值感知组件识别并保护大数值value状态。通过设置阈值，幅度超过阈值的value状态被标记为保护状态，不会被驱逐。这确保了关键的推理线索得以保留。 随机组件在剩余的可驱逐候选中引入随机选择。不同于确定性驱逐总是选择"最不重要"的状态，VaSE按照与重要性成反比的概率进行随机采样。这样既保留了重要信息，又增加了缓存内容的多样性。 ## 实验结果 在六个推理任务上的实验表明，使用VaSE的Qwen3模型在4倍KV缓存压缩下，平均准确率高于同等稀疏度下的SOTA选择方法。与最强的驱逐方法相比，VaSE的提升超过4%。 更重要的是，VaSE弥合了效率与准确性之间的差距。它支持FlashAttention2，并能为推理模型实现静态内存占用，这对于生产部署至关重要。 ## 技术细节与实现 VaSE的实现非常轻量，不需要模型重训练或架构修改。它作为注意力机制的包装层工作，在每次前向传播时动态决定哪些KV对被保留。 阈值的选择是一个关键超参数。论文通过实验发现，保护前5-10%的大数值value状态通常能达到最佳平衡。过多的保护会减少压缩率，而过少的保护则可能导致关键信息丢失。 随机性的引入通过Gumbel采样实现，这是一种从分类分布中采样的可微分方法。虽然VaSE本身不需要梯度，但这种采样方式确保了概率与重要性之间的平滑映射。 ## 对推理模型的特殊意义 推理模型对KV缓存质量特别敏感，因为它们生成长序列的推理步骤。一个错误的驱逐可能导致整个推理链断裂，使模型陷入循环或产生无意义的输出。 VaSE的设计充分考虑了这一特性。通过保护大数值状态，它特别关注了维持推理连贯性的关键信号。通过引入随机性，它避免了确定性驱逐可能带来的系统性偏见。 ## 实际部署价值 VaSE的最大优势之一是其实用性。作为一个无需训练的方法，它可以立即应用于任何基于Transformer的推理模型，无需昂贵的微调或模型转换。 对于生产环境，VaSE提供的静态内存占用保证特别有价值。系统管理员可以精确预测内存需求，而不必担心输入长度变化导致的OOM错误。 ## 未来研究方向 论文指出了几个值得探索的方向。动态阈值调整可以根据输入特性自动确定保护比例。与量化技术结合可以进一步压缩缓存大小。多任务场景下的自适应驱逐策略也是一个有趣的开放问题。