DRIFT：基于隐式事实令牌的长上下文推理双模型框架

本文介绍DRIFT（基于隐式事实令牌的长上下文推理双模型框架），其核心是将阅读与推理解耦，通过隐式事实令牌为推理模型提供紧凑知识表示，在长上下文基准测试中实现卓越性能与显著上下文压缩。关键词：长上下文推理、上下文压缩、双模型框架、隐式事实令牌等。

长上下文推理的挑战

大型语言模型处理长上下文时面临计算复杂度/内存需求二次增长、关键信息定位难导致推理质量下降等问题。 传统解决方案：

• 检索增强生成（RAG）：易丢失全局上下文
• 上下文压缩：可能损失重要细节
• 分块处理：破坏上下文连贯性

DRIFT核心思想与架构

DRIFT提出阅读-推理解耦范式，阻止推理模型直接处理原始长上下文，提供专为推理设计的知识表示。

双模型架构

1. 阅读模型：处理原始长上下文，提取关键事实编码为隐式事实令牌（紧凑且保留核心信息）。
2. 推理模型：仅处理压缩后的隐式事实令牌，专注逻辑推理，无需搜索冗长上下文。

隐式事实令牌设计

非简单摘要，而是为下游推理优化的知识表示：捕获关键事实与关系、去除冗余、保持逻辑结构。

阅读-推理协同

两模型通过隐式事实令牌协作：阅读模型理解语义，推理模型基于压缩表示推断，分工优化。

DRIFT技术优势

效率提升

通过上下文压缩减少推理模型处理令牌数，降低计算复杂度、内存占用，加速推理速度，降低成本。

性能优势

在多个长上下文基准测试中，超越全上下文推理及现有压缩方法，证明隐式事实令牌有效保留推理关键信息。

可解释性

阅读与推理模型职责分离，用户可检查隐式事实令牌，了解推理依据。

DRIFT适用场景

1. 文档问答：处理法律合同、研究论文等长篇文档的问答任务。
2. 多轮对话：维护大量对话历史的场景高效利用上下文。
3. 代码理解：分析大型代码库，支持代码生成与缺陷检测。
4. 知识库查询：从大规模知识库检索并推理相关信息。

项目进展与资源

分阶段发布策略

• 第一阶段：核心模型架构、推理脚本，处理后的训练数据集及数据合成管道。
• 第二阶段：不同规模预训练模型权重。
• 第三阶段：完整训练脚本、分布式配置、超参数。

已发布资源

• LFRP数据集：https://huggingface.co/datasets/SII-LancelotXie/DRIFT_LFRP
• QAFT数据集：https://huggingface.co/datasets/SII-LancelotXie/DRIFT_QAFT
• 数据合成管道：./data_generation/generate_qa.py（生成QA-证据三元组）

总结与学术贡献

DRIFT通过双模型架构与隐式事实令牌机制，解决长上下文推理效率与效果权衡问题，在基准测试中表现优异，为长文本处理模型设计提供参考。 学术方面：论文已发布于arXiv（arXiv:2602.10021），由复旦大学、上海人工智能人工智能实验室等机构研究人员完成，为长上下文推理提供新思路。