ReasoningFlow：用话语结构图解析大语言模型推理过程的隐藏逻辑

ReasoningFlow是一个将大语言模型推理轨迹捕获为有向无环图（DAG）的框架，通过分析1260个推理轨迹（24.7万步骤）揭示了不同模型在推理结构上的相似性，以及错误步骤与最终答案之间的复杂关系。该框架旨在解决大型推理模型（LRMs）推理过程中的可解释性困境、监控困难及跨模型比较缺失等挑战。

大型推理模型（如DeepSeek-R1、QwQ-32B等）通过生成包含假设提出、验证、回溯、自我修正等非线性思维过程的推理轨迹解决复杂问题，但存在三大挑战：

1. 可解释性困境：传统线性评估难以捕捉推理中的分支、循环和修正行为；
2. 监控困难：缺乏系统性分析框架理解错误步骤对最终答案的影响；
3. 跨模型比较：未知不同架构/训练数据的模型推理过程是否存在共性或差异。

ReasoningFlow框架将推理轨迹建模为DAG，借鉴语言学话语结构概念，步骤为节点、逻辑关系为边。核心设计理念：

• 非线性建模：表达假设检验、回溯等复杂模式；
• 细粒度分析：追踪步骤贡献度与依赖关系；
• 可计算性：支持图算法自动化分析。 技术实现包括：

1. DAG构建算法（步骤分割、关系识别、图构建、属性标注）；
2. 可视化工具（交互式探索、统计摘要、对比分析不同模型推理路径）。

数据构建分两阶段：

1. 人工标注验证：31个推理轨迹（约2100步骤），专业标注者标注步骤功能类型、依赖关系、错误等，通过一致性检验确保方案可靠；
2. 大规模自动标注：基于人工范式开发自动化流程，应用于1260个轨迹（247700步骤），覆盖数学推理、科学问答、论证分析三大领域及Qwen2.5-32B-Inst、DeepSeek-R1等模型。

主要发现：

1. 模型推理结构相似性：不同架构/训练数据的模型推理轨迹结构惊人相似，暗示推理能力收敛及架构无关性；
2. 细粒度推理行为多样：存在局部验证、自我反思、假设管理等模式；
3. 错误步骤与答案关系：多数错误步骤未用于最终答案，体现模型容错能力及传统评估的局限性；
4. 因果依赖与话语结构分离：机械因果依赖未必反映在语言层面，评估需兼顾逻辑正确性与表达连贯性。

应用方向：

• 模型评估与改进：评估推理效率、诊断错误步骤、优化训练数据；
• 可解释性增强：推理审计（追踪结论路径）、置信度估计、对抗检测；
• 人机协作优化：识别干预点、引导推理方向、融合人类知识。

开源资源：数据集（1260个带DAG标注的轨迹）、标注工具、可视化工具、分析库，地址：https://github.com/jinulee-v/reasoningflow。 局限性：语言限制（英文为主）、任务范围窄（未覆盖创意写作等）、自动标注准确率待提升。 未来方向：多语言扩展、实时推理监控、推理策略学习、神经符号融合。