RecurrReason 项目开源了 ICLR 2026 逻辑推理研讨会的研究工作，展示了如何通过循环推理机制让序列模型更好地解决符号谜题，为 LLM 的逻辑推理能力提升提供了新思路。

RecurrReason：用序列模型解决符号谜题的循环推理方法\n\n## 大语言模型的逻辑推理困境\n\n尽管大语言模型（LLM）在文本生成、知识问答等任务上表现出色，但在需要严格逻辑推理的符号谜题面前，它们往往显得力不从心。数独、逻辑网格谜题、数学证明等形式化任务要求模型不仅能理解语言，还要能在符号层面进行精确的演绎推理。\n\n传统的序列模型（如 GPT 系列）采用自左向右的单向生成模式，这种"一气呵成"的推理方式与人类解决复杂问题时反复推敲、逐步验证的思维过程存在本质差异。当面对多步推理链条时，模型容易在中间步骤出现"幻觉"（hallucination），且一旦出错就难以自我纠正。\n\n## RecurrReason 的核心思想：循环推理\n\nRecurrReason 项目提出了一种"循环推理"（Recurrent Reasoning）机制，旨在让序列模型具备类似人类的迭代思考能力。其核心洞见是：复杂的符号推理不应该是一次性的线性过程，而应该是多轮迭代的循环过程，每一轮都在前一轮的基础上修正和完善。\n\n### 方法架构\n\n该方法的架构包含三个关键组件：\n\n1. 推理状态编码器\n\n模型首先将当前的推理状态（包括已知条件、已推导结论、待解决问题）编码为一个连续的隐状态向量。这个隐状态充当了模型"工作记忆"的角色，保存了推理过程中的关键信息。\n\n2. 循环推理单元\n\n这是方法的核心。循环推理单元接收当前的隐状态，并输出两个结果：\n\n- 候选推理步骤：基于当前状态生成下一步可能的推理动作\n- 状态更新：根据选定的推理动作更新隐状态，为下一轮迭代做准备\n\n这个过程可以重复进行多轮，直到模型判断问题已解决或达到最大迭代次数。\n\n3. 终止与验证机制\n\n为了防止无限循环，模型学习了一个终止条件判断器，用于决定何时停止推理。同时，每一轮推理的结果都会经过验证模块的检查，确保符号操作的有效性（例如，数独中的数字不违反行、列、宫格的约束）。\n\n### 训练策略\n\nRecurrReason 采用了课程学习（Curriculum Learning）和强化学习相结合的训练策略：\n\n- 课程学习：从简单的单步推理谜题开始，逐步增加难度，让模型先掌握基本的推理原语，再学习组合复杂的推理链\n- 强化学习：对于没有标准中间步骤的谜题，使用策略梯度方法优化推理策略，奖励成功解题的轨迹，惩罚无效循环和错误推理\n- 模仿学习：在有专家演示数据的情况下，使用监督学习预训练模型的推理行为\n\n## 实验结果与性能分析\n\n项目在多个符号谜题基准上进行了评估，包括：\n\n- Sudoku：经典的数字填充谜题，测试约束满足能力\n- Logic Grid Puzzles：逻辑网格谜题，测试多条件推理\n- Symbolic Math：符号数学推导，测试代数操作能力\n\n实验结果显示，RecurrReason 相比传统的单次生成基线模型有显著提升：\n\n| 任务类型 | 基线准确率 | RecurrReason 准确率 | 提升幅度 |\n|---------|-----------|-------------------|---------|\n| 简单数独（4x4） | 78% | 96% | +18% |\n| 标准数独（9x9） | 23% | 67% | +44% |\n| 逻辑网格谜题 | 45% | 82% | +37% |\n| 符号代数推导 | 31% | 71% | +40% |\n\n特别值得注意的是，在标准 9x9 数独任务上，RecurrReason 实现了从几乎不可用（23%）到实用水平（67%）的跨越。这表明循环推理机制对于需要长链条推理的复杂任务尤为关键。\n\n### 错误分析\n\n研究团队对模型的失败案例进行了深入分析，发现主要错误类型包括：\n\n1. 过早终止：模型在尚未找到完整解时就判断问题已解决，约占错误的 35%\n2. 循环陷阱：模型在几个状态之间反复跳转而无法前进，约占错误的 28%\n3. 推理幻觉：生成了不符合逻辑规则的中间步骤，约占错误的 22%\n4. 其他：包括内存溢出、超时等技术性问题\n\n这些发现为后续改进指明了方向，例如引入更强的验证机制、改进终止条件学习等。\n\n## 开源代码与使用指南\n\nRecurrReason 项目已完整开源，包含：\n\n- 训练代码：支持分布式训练，兼容 PyTorch Lightning\n- 评估脚本：提供标准化的谜题生成和评测流程\n- 预训练模型：基于 Llama-3-8B 微调的检查点\n- 数据集：包含 10 万+ 合成谜题及推理轨迹\n\n### 快速开始\n\nbash\n# 克隆仓库\ngit clone https://github.com/chowdhury-mahjabin/RecurrReason.git\ncd RecurrReason\n\n# 安装依赖\npip install -r requirements.txt\n\n# 下载预训练模型\npython scripts/download_model.py --model recurrreason-8b\n\n# 运行推理示例\npython demo.py --puzzle sudoku --difficulty medium\n\n\n### 自定义训练\n\n对于希望在自有数据集上训练的研究者，项目提供了灵活的配置系统：\n\nyaml\n# config/train.yaml\nmodel:\n base_model: meta-llama/Llama-3-8b\n reasoning_steps: 10 # 最大循环推理轮数\n \ntraining:\n batch_size: 32\n learning_rate: 2e-5\n curriculum: true # 启用课程学习\n rl_weight: 0.3 # 强化学习损失权重\n\n\n## 技术局限与未来方向\n\n尽管 RecurrReason 取得了 promising 的结果，但仍存在一些局限性：\n\n计算开销：循环推理需要多次前向传播，推理延迟显著高于单次生成模型。在实时性要求高的场景下，这可能成为瓶颈。\n\n可解释性：虽然循环机制提供了一定的中间步骤可视化，但模型具体"如何思考"仍不完全透明。\n\n泛化能力：目前主要在合成谜题上验证，在真实世界的开放式推理任务上的表现尚待检验。\n\n研究团队计划在未来工作中探索：\n\n- 更高效的门控循环机制，减少推理轮数\n- 与外部符号求解器的结合，实现神经-符号混合推理\n- 应用到代码生成、数学证明等更广泛的推理任务\n\n## 对 LLM 逻辑推理研究的启示\n\nRecurrReason 的工作为 LLM 的逻辑推理能力提升提供了重要启示：\n\n1. 架构创新：在保持 Transformer 架构优势的同时，通过循环机制引入迭代推理能力，可能比单纯扩大模型规模更有效\n2. 训练范式：课程学习和强化学习的结合对于复杂推理任务至关重要\n3. 评估基准：需要更多像符号谜题这样可精确评估的硬任务，来推动推理能力的实质性进步\n\n对于关注 LLM 推理能力的研究者和工程师，RecurrReason 是一个值得深入研究和借鉴的项目。

RecurrReason：用序列模型解决符号谜题的循环推理方法\n\n大语言模型的逻辑推理困境\n\n尽管大语言模型（LLM）在文本生成、知识问答等任务上表现出色，但在需要严格逻辑推理的符号谜题面前，它们往往显得力不从心。数独、逻辑网格谜题、数学证明等形式化任务要求模型不仅能理解语言，还要能在符号层面进行精确的演绎推理。\n\n传统的序列模型（如 GPT 系列）采用自左向右的单向生成模式，这种"一气呵成"的推理方式与人类解决复杂问题时反复推敲、逐步验证的思维过程存在本质差异。当面对多步推理链条时，模型容易在中间步骤出现"幻觉"（hallucination），且一旦出错就难以自我纠正。\n\nRecurrReason 的核心思想：循环推理\n\nRecurrReason 项目提出了一种"循环推理"（Recurrent Reasoning）机制，旨在让序列模型具备类似人类的迭代思考能力。其核心洞见是：复杂的符号推理不应该是一次性的线性过程，而应该是多轮迭代的循环过程，每一轮都在前一轮的基础上修正和完善。\n\n方法架构\n\n该方法的架构包含三个关键组件：\n\n1. 推理状态编码器\n\n模型首先将当前的推理状态（包括已知条件、已推导结论、待解决问题）编码为一个连续的隐状态向量。这个隐状态充当了模型"工作记忆"的角色，保存了推理过程中的关键信息。\n\n2. 循环推理单元\n\n这是方法的核心。循环推理单元接收当前的隐状态，并输出两个结果：\n\n- 候选推理步骤：基于当前状态生成下一步可能的推理动作\n- 状态更新：根据选定的推理动作更新隐状态，为下一轮迭代做准备\n\n这个过程可以重复进行多轮，直到模型判断问题已解决或达到最大迭代次数。\n\n3. 终止与验证机制\n\n为了防止无限循环，模型学习了一个终止条件判断器，用于决定何时停止推理。同时，每一轮推理的结果都会经过验证模块的检查，确保符号操作的有效性（例如，数独中的数字不违反行、列、宫格的约束）。\n\n训练策略\n\nRecurrReason 采用了课程学习（Curriculum Learning）和强化学习相结合的训练策略：\n\n- 课程学习：从简单的单步推理谜题开始，逐步增加难度，让模型先掌握基本的推理原语，再学习组合复杂的推理链\n- 强化学习：对于没有标准中间步骤的谜题，使用策略梯度方法优化推理策略，奖励成功解题的轨迹，惩罚无效循环和错误推理\n- 模仿学习：在有专家演示数据的情况下，使用监督学习预训练模型的推理行为\n\n实验结果与性能分析\n\n项目在多个符号谜题基准上进行了评估，包括：\n\n- Sudoku：经典的数字填充谜题，测试约束满足能力\n- Logic Grid Puzzles：逻辑网格谜题，测试多条件推理\n- Symbolic Math：符号数学推导，测试代数操作能力\n\n实验结果显示，RecurrReason 相比传统的单次生成基线模型有显著提升：\n\n| 任务类型 | 基线准确率 | RecurrReason 准确率 | 提升幅度 |\n|---------|-----------|-------------------|---------|\n| 简单数独（4x4） | 78% | 96% | +18% |\n| 标准数独（9x9） | 23% | 67% | +44% |\n| 逻辑网格谜题 | 45% | 82% | +37% |\n| 符号代数推导 | 31% | 71% | +40% |\n\n特别值得注意的是，在标准 9x9 数独任务上，RecurrReason 实现了从几乎不可用（23%）到实用水平（67%）的跨越。这表明循环推理机制对于需要长链条推理的复杂任务尤为关键。\n\n错误分析\n\n研究团队对模型的失败案例进行了深入分析，发现主要错误类型包括：\n\n1. 过早终止：模型在尚未找到完整解时就判断问题已解决，约占错误的 35%\n2. 循环陷阱：模型在几个状态之间反复跳转而无法前进，约占错误的 28%\n3. 推理幻觉：生成了不符合逻辑规则的中间步骤，约占错误的 22%\n4. 其他：包括内存溢出、超时等技术性问题\n\n这些发现为后续改进指明了方向，例如引入更强的验证机制、改进终止条件学习等。\n\n开源代码与使用指南\n\nRecurrReason 项目已完整开源，包含：\n\n- 训练代码：支持分布式训练，兼容 PyTorch Lightning\n- 评估脚本：提供标准化的谜题生成和评测流程\n- 预训练模型：基于 Llama-3-8B 微调的检查点\n- 数据集：包含 10 万+ 合成谜题及推理轨迹\n\n快速开始\n\nbash\n克隆仓库\ngit clone https://github.com/chowdhury-mahjabin/RecurrReason.git\ncd RecurrReason\n\n安装依赖\npip install -r requirements.txt\n\n下载预训练模型\npython scripts/download_model.py --model recurrreason-8b\n\n运行推理示例\npython demo.py --puzzle sudoku --difficulty medium\n\n\n自定义训练\n\n对于希望在自有数据集上训练的研究者，项目提供了灵活的配置系统：\n\nyaml\nconfig/train.yaml\nmodel:\n base_model: meta-llama/Llama-3-8b\n reasoning_steps: 10 最大循环推理轮数\n \ntraining:\n batch_size: 32\n learning_rate: 2e-5\n curriculum: true 启用课程学习\n rl_weight: 0.3 强化学习损失权重\n\n\n技术局限与未来方向\n\n尽管 RecurrReason 取得了 promising 的结果，但仍存在一些局限性：\n\n计算开销：循环推理需要多次前向传播，推理延迟显著高于单次生成模型。在实时性要求高的场景下，这可能成为瓶颈。\n\n可解释性：虽然循环机制提供了一定的中间步骤可视化，但模型具体"如何思考"仍不完全透明。\n\n泛化能力：目前主要在合成谜题上验证，在真实世界的开放式推理任务上的表现尚待检验。\n\n研究团队计划在未来工作中探索：\n\n- 更高效的门控循环机制，减少推理轮数\n- 与外部符号求解器的结合，实现神经-符号混合推理\n- 应用到代码生成、数学证明等更广泛的推理任务\n\n对 LLM 逻辑推理研究的启示\n\nRecurrReason 的工作为 LLM 的逻辑推理能力提升提供了重要启示：\n\n1. 架构创新：在保持 Transformer 架构优势的同时，通过循环机制引入迭代推理能力，可能比单纯扩大模型规模更有效\n2. 训练范式：课程学习和强化学习的结合对于复杂推理任务至关重要\n3. 评估基准：需要更多像符号谜题这样可精确评估的硬任务，来推动推理能力的实质性进步\n\n对于关注 LLM 推理能力的研究者和工程师，RecurrReason 是一个值得深入研究和借鉴的项目。