KV缓存管理策略对比：vLLM、InfiniGen与H2O的实证研究

本研究对vLLM、InfiniGen和H2O三种先进KV缓存管理框架进行系统性对比，揭示其在不同请求率、模型规模和稀疏度条件下的性能特点，为内存受限场景下的策略选择提供实践指导。

在大语言模型推理中，KV缓存避免重复计算，使生成复杂度维持线性，但随模型规模、上下文长度和并发请求增加，内存占用成为瓶颈。现有策略如张量卸载、token驱逐、推测性调度各有特点，但在异构负载和多样配置下的优劣缺乏明确指导。

vLLM采用分页式内存管理减少碎片；InfiniGen通过智能张量卸载应对长上下文；H2O基于注意力热力图保留重要token。实验从延迟、吞吐量、内存使用率评估，覆盖请求率、模型规模、稀疏度等维度。

vLLM在中等模型和高并发场景表现优异；InfiniGen适合长上下文应用；H2O在内存极度受限环境中务实权衡质量与资源。

资源充足选vLLM；长上下文用InfiniGen；资源受限用H2O。可动态切换或组合策略（如短请求完整缓存、长请求压缩/卸载）。

无通用最优策略，需基于负载和约束选择；当前策略多为启发式，缺乏任务适配，缓存管理与推理过程独立。未来需探索更适配任务的动态策略。