TriAttention：用三角函数压缩KV缓存，让长文本推理告别显存焦虑

本文介绍TriAttention技术，针对大型语言模型长文本推理中KV缓存内存爆炸问题，利用预RoPE空间Q/K向量集中特性，通过三角级数估计键值重要性，实现32K token场景下10.7倍KV内存压缩且保持全量注意力精度，同时提升2.5倍吞吐量，并提供GGUF实现支持消费级GPU部署。

长文本推理（如思维链）需存储大量KV缓存，导致消费级GPU显存溢出。现有KV压缩方法依赖后RoPE空间注意力分数，但RoPE旋转限制查询窗口（仅最近25个），易误判早期关键token，损害推理连贯性。

TriAttention团队发现预RoPE空间（位置编码前）Q/K向量高度集中于固定非零中心点，该现象具稳定性（跨位置/序列）、可预测性（不受RoPE旋转影响）、语义关联性；且集中时注意力分数可通过三角级数精确重建。

TriAttention策略包括：1.距离偏好建模：用Q/K中心点计算注意力-距离曲线，通过三角级数量化偏好；2.双信号融合评分：结合距离偏好信号与Q/K范数信号，权重由Q/K集中度自动调节；3.动态Top-K保留：仅保留高分键值对。

基准测试结果：AIME25（32K token）中与全量注意力精度相同（40.8%），吞吐量提升2.5倍，KV内存压缩10.7倍；固定内存预算下，TriAttention精度远超R-KV（如AIME25达32.9% vs R-KV的17.5%）；支持消费级GPU本地部署。

GitHub仓库g023/triattention提供GGUF格式实现，兼容llama.cpp生态，支持CPU/GPU混合推理、量化、跨平台运行（Windows/macOS/Linux），可与OpenClaw等框架集成。

TriAttention启示：预编码空间价值、数学先验力量、硬件民主化；未来将成LLM部署标配，为更长上下文模型铺路；让消费级硬件也能驾驭先进AI推理能力。