InftyThink：突破大语言模型长上下文推理的长度限制

浙江大学REAL实验室推出的InftyThink框架，通过创新的分段推理机制，成功突破传统大语言模型（LLM）在长上下文推理中的长度限制，实现超长文本的高效理解与推理。该工作已被ICLR 2026接收，核心解决当前LLM面临的注意力分散、"Lost in the Middle"等问题，模仿人类阅读方式构建分层推理架构，兼顾计算效率与深度理解能力。

当前LLM（如GPT-4、Claude）虽支持数十万token的上下文长度，但推理质量随文本长度增加显著下降。关键挑战包括：注意力机制的二次复杂度导致计算消耗大且注意力分散；"Lost in the Middle"现象（对文本中间部分信息召回能力弱于开头和结尾）；缺乏全局结构把握，难以综合全文信息完成复杂推理。

InftyThink采用分层推理架构：1.智能语义分段：基于语义而非固定长度切分，确保每个片段主题完整；2.局部推理：对每个片段独立提取关键信息、中间结论，生成结构化输出；3.全局聚合：通过轻量级图注意力网络，建立片段间关联，整合结果形成全局认知。

在LongBench和∞Bench等长上下文基准测试中，InftyThink表现显著：计算开销较基线降低60%以上；超长文档问答准确率提升15-25个百分点；可递归处理超模型原生上下文长度的文本，理论支持无限长度输入。

应用场景包括法律（案卷理解）、金融（市场报告/财报分析）、科研（文献梳理）等。局限：分段策略选择对效果影响大，不当分段可能导致语义断裂；片段数量极多时全局聚合模块仍面临计算压力。

InftyThink代表长上下文推理领域的重要突破，提出模仿人类认知的分层推理新范式。未来可探索更智能的自适应分段策略、更高效的全局聚合机制，期待技术落地释放LLM在超长文本理解方面的潜力。