SinkRouter：基于注意力汇机制的长上下文解码加速框架

SinkRouter是一种训练无关的选择性路由框架，通过深入理解注意力汇现象的本质（稳定、可达、误差可控的固定点），检测汇信号并跳过近零输出计算，配合硬件感知的Triton内核，在512K上下文长度下实现2.03倍加速，同时保持竞争力准确率，为长上下文大模型部署提供高效解决方案。

长上下文推理的瓶颈

随着LLMs和LMMs能力扩展，长上下文需求增加，但解码时KV缓存的内存访问开销随上下文长度线性/超线性增长，成为推理速度瓶颈，尤其在数十万token场景突出。

现有方法局限

• 效率与精度权衡：依赖启发式剪枝易丢失有用信息，牺牲输出质量；
• 对注意力汇的误解：不加区分保留高分token、机械视早期token为锚点或依赖启发式路由，缺乏机制性理解。

注意力汇的本质

SinkRouter团队揭示注意力汇是训练中构建的稳定、可达、误差可控的固定点，提升到数学结构高度，为优化提供理论基础。

SinkRouter框架核心机制

1. 汇信号检测：推理时实时识别汇位置和强度；
2. 选择性计算：跳过近零输出的计算步骤；
3. 保持精度：通过固定点理论保证精度无显著损失。

硬件感知优化

开发Triton内核：

• 块级分支：GPU块级条件分支减少线程发散；
• Split-K并行：优化矩阵计算并行策略，提升硬件利用率。

实验设置

测试基准包括LongBench、InfiniteBench、CVBench、MileBench、MMVP，覆盖纯文本模型（Llama-3.1-8B/70B、Yi-9B-200K）和多模态模型（LLaVA-1.5-7B/13B）。

性能结果

• 所有设置下持续提升解码效率；
• 准确率保持竞争力，无显著下降；
• 512K上下文长度下实现2.03倍加速。

方法意义

• 理论指导设计：基于固定点理论设计优化策略，兼具理论保证与实用性；
• 训练无关优势：无需修改权重或重训练，直接应用于预训练模型，降低部署门槛；
• 硬件协同优化：与Triton内核深度集成，充分发挥GPU并行能力。

应用前景

SinkRouter为长上下文大模型实际部署开辟新可能，随着上下文窗口扩展，这类基于机制理解的优化方法将更重要。