从推理到智能体：大语言模型强化学习中的信用分配问题全景解析

本文聚焦大语言模型（LLM）强化学习（RL）中的核心挑战——信用分配问题，系统梳理了2024-2026年初的47种相关方法，提出基于粒度与方法论的二维分类体系，并揭示推理型RL与智能体型RL在信用分配上的本质差异。同时提供三大实用资源推动领域标准化，为实践者提供指导并指出未来研究方向。

信用分配是RL领域古老且棘手的挑战，指将最终稀疏奖励准确归因到长序列决策中的每个动作。LLM从文本推理走向智能体系统时，复杂度指数级增长。

• 推理型RL：需在长思维链（数千至数万token）内完成细粒度归因，传统回合奖励过粗，错误累积效应加剧追溯难度。
• 智能体型RL：涉及多轮交互（100+轮，10万至100万token轨迹），面临随机状态转移、部分可观测性、长程依赖、多智能体协调等新复杂性，回合奖励几乎失效。

研究团队构建了二维分类体系： 第一维度：分配粒度

• Token级别：针对单个token评估，如注意力归因、token-level价值函数估计。
• 片段级别：组合连续token为语义单元（短语/子句），平衡效率与精度。
• 步骤级别：针对逻辑步骤（如数学推导），依赖过程奖励模型（PRM）。
• 轮次级别：专为智能体设计，处理跨轮次依赖。
• 多智能体级别：涉及博弈论（如Shapley值）分配个体贡献。

第二维度：方法论家族

• 蒙特卡洛方法：采样平均估计，简单但方差大。
• 时序差分（TD）：bootstrapping更新，样本效率高但可能有偏差。
• 基于模型的方法：显式学习环境模型反传信用。
• 博弈论方法：用合作博弈解概念（核心、Shapley值）确保公平。
• 信息论方法：量化动作信息增益，理论坚实但计算复杂。

研究团队提供三大资源：

1. 结构化论文清单：机器可读数据库，标注方法论类别、基线归属、证据等级，揭示研究空白（如多智能体级信息论方法不足）。
2. 报告清单与方法论审计：定义论文应报告的关键信息（实验细节、评估指标、基线论证等），识别现有文献缺陷（如超参数敏感性分析缺失）。
3. 基准测试协议与决策树：包括任务家族定义、元数据规范、受控分叉任务（精确测量算法准确性），以及基于任务特征的方法选择决策树。

推理型RL成熟路径：

• 过程奖励模型（PRM）：关键节点提供中间奖励，提升学习速度与推理质量，可通过人类标注或LLM-as-a-Judge生成监督信号。
• 无批判者组比较（如GRPO、RLOO）：比较同一问题的多个响应，无需显式价值函数，成为主流范式。

智能体型RL新前沿：

• 事后反事实分析：构建假设场景分离单个交互轮次的因果效应。
• 特权非对称批判者：用访问完整状态的批判者指导仅见部分信息的策略网络。
• 轮次级MDP重构：层次化建模降低复杂度，保留细粒度学习能力。

实践启示：选择方法需考虑场景特征（推理 vs 智能体任务），领域需加强标准化与可复现性。 未来方向：

1. 跨范式迁移：推理RL的PRM适配智能体场景，或智能体RL的反事实分析提升推理质量。
2. 计算效率优化：开发高效近似算法解决先进方法的高计算开销问题。
3. 理论理解深化：强化收敛性保证、样本复杂度界限等理论基础。
4. 多模态扩展：适配LLM处理图像、音频等多模态输入的信用分配挑战。