CRoM：缓解大语言模型上下文衰减的高效重排序与检索技术

CRoM（Context Rot Mitigation）项目聚焦大语言模型长文本处理中的上下文衰减问题，通过高效重排序、检索策略优化及上下文压缩等技术，提升模型对早期信息的利用效率，优化RAG系统的上下文管理效果，解决信息遗忘与噪声淹没问题。

大语言模型处理长文本时存在上下文衰减现象，即随输入序列增长，早期信息注意力减弱导致关键细节被遗忘。其根源在于Transformer自注意力机制（序列增长时注意力权重分散）和位置编码局限性。在RAG系统中，大量检索文档的简单拼接效果差，需智能上下文管理策略。

CRoM核心是动态选择组织上下文：针对传统RAG向量检索仅整体匹配的不足，引入重排序机制精细评估相关性；同时采用动态上下文压缩技术，提取关键信息减少token数量，适配LLM有限上下文窗口。

重排序是CRoM关键环节，采用交叉编码器捕捉查询与文档细粒度交互（但计算成本高）；通过级联策略（先向量检索候选集，再交叉编码器重排序）平衡召回率与开销；也探索基于LLM的重排序（利用语义理解无需专门训练，但推理成本高）。

CRoM优化检索策略：密集检索（稠密向量捕捉语义相关性）、稀疏检索（如BM25精确匹配）及混合检索；多向量检索（为文档不同部分生成多向量，精细定位信息）；查询扩展（丰富语义）与重写（转换为适合检索的形式）提升效果。

上下文压缩技术包括：提取式压缩（筛选关键句子/段落保留准确性）、生成式压缩（LLM摘要但有信息损失风险）、结构化表示（转换为表格/知识图谱提升信息密度）；实践中常结合提取与生成策略。

CRoM应用于客服（准确引用产品条款）、法律医疗（专业知识检索）等场景；评估指标含召回率（找全相关信息）、精确率（相关信息占比）、答案质量（准确完整）及效率（延迟、吞吐量）；使用Natural Questions等数据集端到端评估。

未来方向包括自适应上下文窗口（动态调整范围）、层次化注意力（模仿人类阅读策略）、多模态上下文管理（处理图像/音频等异构信息）、个性化上下文（结合用户偏好）、长期记忆机制（跨会话积累理解）等，推动AI应用深化。