K-Token Merging：在隐空间压缩序列的大模型高效推理方案

K-Token Merging是针对大型语言模型（LLM）长文本处理的高效推理方案，核心思路为在隐嵌入空间合并连续token的嵌入向量，实现高达75%的输入长度压缩，同时保持模型性能几乎无损。该方案突破传统token空间压缩局限，解决LLM自注意力机制的二次方计算瓶颈，为高效推理提供新方向。

计算瓶颈

LLM自注意力机制计算复杂度与输入长度呈平方关系，输入从1000增至10000token时，开销或增长100倍，制约长文档、代码库等场景应用。

现有方法局限

主流策略（选择性保留、摘要生成、分层处理）均局限于token空间，未利用隐嵌入空间中相邻token的语义冗余，将token视为不可分割原子单位。

核心思想

直接在隐嵌入空间合并连续K个token的嵌入向量，而非token空间操作。

技术架构

1. 轻量级编码器：融合每K个连续token嵌入为单一向量，压缩开销小；
2. LoRA适配LLM：通过低秩适配微调模型，适应压缩表示，仅训练少量参数；
3. 原始词表生成：输出端保留原始token词表，生成结果不受限制。

研究团队在三个任务验证有效性：

1. 结构化推理（Textualized Tree）：保持推理准确性，未破坏层次关系；
2. 情感分类（Amazon Reviews）：保留语义信息，支持准确情感判断；
3. 代码编辑（CommitPackFT）：处理技术性内容可靠，验证精确性场景适用性。

压缩与性能平衡

• 最高75%输入压缩（4000→1000token）；
• 性能与未压缩版本几乎无显著下降；
• 位于性能-压缩率帕累托前沿。

技术优势

• 计算效率：自注意力计算量理论减至1/16；
• 内存优化：更小激活内存，支持更长上下文或更大batch size；
• 通用性：无缝集成下游任务，无需修改生成逻辑；
• 可扩展性：K值灵活调整，权衡压缩率与性能。

应用前景

适用于长文档处理（法律/学术/技术手册）、代码库理解、多轮对话记忆、RAG系统等场景。

总结

K-Token Merging代表prompt压缩技术重要进展，突破传统局限，实现高效压缩与性能保持，为LLM高效推理开辟新方向，将在实际部署中发挥关键作用。