推理在何处失效：Step-Saliency揭示大模型思维链的隐性断裂

本文提出Step-Saliency方法，通过分析大推理模型（LRM）思维链的注意力流，发现浅层锁定与深层衰减两种关键失效模式，并设计StepFlow干预方案，在不重新训练的情况下有效提升推理准确性。

大型推理模型（LRMs）在多步推理任务中展现出强大能力，但思维链过程存在不稳定、难以解释的问题，现有分析工具难以应对长且结构化的推理轨迹，导致其内部信息流动机制成谜。

Step-Saliency是融合注意力分数与梯度信息的技术，创新地将注意力聚合到步骤级别，生成步骤间显著性地图，追踪从问题到思考再到总结的完整信息流，量化各步骤对后续的影响。

1. 浅层锁定：模型浅层过度聚焦当前步骤，忽略更早上下文，孤立处理子问题；2. 深层衰减：推理后期，模型深层对早期步骤的显著性逐渐衰减，遗忘关键前期推导。

StepFlow包含两个组件：Odds-Equal Bridge调整浅层注意力分布，均衡利用历史上下文；Step Momentum Injection在深层引入步骤级残差连接，保持对早期步骤的记忆。

StepFlow在数学、科学、编程等任务及多种LRM架构上验证有效：无需重新训练，跨模型表现稳定，多任务准确性均有改善。

本研究揭示LRMs推理存在系统性结构缺陷，Step-Saliency提供新分析工具，StepFlow展示轻量级性能提升途径，强调信息流动效率对模型能力的重要性。

未来可探索更多信息流失效模式，扩展StepFlow到其他模型任务，设计从根本避免断裂的新型架构，推动更可靠、可解释的AI推理系统发展。