Multi-TurboQuant：统一KV缓存压缩工具包，让大模型推理突破显存瓶颈

一个集成10种KV缓存压缩方法的Python工具包，支持5-80倍压缩率，可在消费级GPU上运行更大模型、更长上下文和更多智能体。

在大型语言模型推理过程中，KV缓存（Key-Value Cache）是占用显存最多的组件之一。一个320亿参数的模型在处理32K上下文时，仅KV缓存就需要占用8GB以上的显存。这成为了在消费级GPU上部署大模型的主要瓶颈。

Multi-TurboQuant项目正是为解决这一问题而生，它提供了一个统一的工具包，整合了10种不同的KV缓存压缩方法，让用户可以根据硬件条件和质量要求灵活选择。

该项目包含四大方法家族，共10种具体实现：

基于Walsh-Hadamard变换的量化方法，提供2.25到4.25比特的压缩选项：

• turbo2/turbo3/turbo4：标准TurboQuant，压缩率7.1x/4.9x/3.8x
• turbo2_tcq/turbo3_tcq：结合Trellis Coded Quantization（TCQ），使用Viterbi网格解码

基于四元数4D旋转的量化方法，无需校准即可使用：

• iso3/iso4：3.25/4.25比特，压缩率4.9x/3.8x，速度损失接近0%

基于Givens 2D旋转的量化方法，同样无需校准：

• planar3/planar4：3.25/4.25比特，压缩率4.9x/3.8x

基于DFT的Token淘汰机制，可实现10-16x的压缩率，与其他方法组合使用可达约80x总压缩率。

所有方法均在RTX 3090上通过真实CUDA张量测试验证：

方法	余弦相似度	压缩率	GPU验证
turbo2	0.9420	5.8x	✅
turbo3	0.9817	4.0x	✅
turbo4	0.9947	3.2x	✅
iso3	0.9783	4.7x	✅
iso4	0.9951	3.7x	✅
planar4	0.9952	3.7x	✅
TriAttn + iso3	0.9782	9.5x	✅

测试套件包含77个自动化测试（68个CPU测试+9个GPU测试），确保各方法在编码/解码、配置、预设和集成层面的正确性。