通过逆强化学习从专家演示中学习密集推理奖励模型

这项研究探索利用逆强化学习（IRL）从专家演示中提取隐含推理奖励信号，构建能评估推理过程质量的密集奖励模型，解决LLM推理训练中的奖励稀疏性问题，推动模型从模仿专家答案转向学习专家思考过程。

大型语言模型在推理任务上取得显著进展，但复杂多步推理训练仍存核心挑战：传统监督微调仅能模仿专家最终答案，无法捕捉推理过程中的决策逻辑；强化学习则面临奖励稀疏性问题——在数学证明、代码生成等任务中，仅完成整个推理链后才有二元反馈，中间步骤学习信号微弱。

技术框架包含三个核心组件：1.专家演示收集：记录完整推理路径（含探索、尝试、验证、修正全过程）的过程监督数据；2.奖励模型学习：利用IRL算法从专家演示中反推奖励函数，使专家轨迹在该函数下最优；3.密集奖励建模：生成步骤级密集奖励，为推理链每一步提供细粒度质量评估。

研究的技术创新包括：1.最大熵IRL扩展：建模专家行为不确定性，提升奖励函数鲁棒性与泛化能力；2.分层奖励结构：同时建模步骤级、段落级、任务级多尺度奖励信号，捕捉推理层次性；3.计算效率优化：基于近似动态规划的快速求解算法，支持大规模推理任务应用。

在多推理基准验证有效性：数学推理（GSM8K、MATH数据集）比稀疏奖励基线显著提升；代码生成（HumanEval、MBPP）帮助模型更好理解结构与执行逻辑；逻辑推理精准错误定位。此外，样本效率高，较少交互轮次即可达良好性能。

1.过程监督优于结果监督：专家演示的推理过程比最终答案更有价值，未来数据收集需注重过程质量标注；2.奖励工程关键：IRL提供从数据自动学习奖励函数的方法；3.人机协作新模式：人类提供高质量演示，AI学习评估标准并提升自身。

局限：高度依赖专家演示质量（若演示有偏差则奖励函数继承）、IRL训练计算密集、跨领域泛化能力待验证。未来方向：结合在线学习动态更新奖励模型、探索无/少演示奖励学习、与DPO/KTO等训练范式结合。

本研究通过逆强化学习从专家演示中学习密集推理奖励模型，为解决LLM推理训练中的奖励稀疏性问题提供创新性方案，提出让模型学会像专家一样思考而非仅模仿答案的新思路，开源代码有望在更广泛推理任务中应用验证。