GRPO-VPS：可验证过程监督增强LLM推理效率

本文提出GRPO-VPS（Verifiable Process Supervision）方法，通过探测模型推理过程中的信念变化实现细粒度过程监督。该方法无需额外模型和蒙特卡洛采样，在数学推理任务上实现2.6%准确率提升和13.7%推理长度缩减，平衡推理效果与效率。

推理训练的困境

传统监督微调（SFT）依赖人工标注推理过程，成本高且难规模化。可验证奖励的强化学习（RLVR）范式通过验证最终答案提供信号，无需过程标注。

GRPO的痛点

组相对策略优化（GRPO）消除critic模型依赖，但轨迹级反馈机制导致粗粒度信用分配：

1. 无法识别有效推理策略，错误步骤难以定位；
2. 模型倾向过度思考，生成冗长推理链降低效率。

核心洞察：信念探测

通过测量推理过程中模型对正确答案的条件概率变化判断推理方向：信念上升→正向贡献，下降→错误/偏离，停滞→冗余。

技术实现

1. 推理分段：基于自然语言或逻辑结构划分步骤；
2. 信念探测：计算分段边界处模型对正确答案的条件概率；
3. 进度测量：比较相邻分段信念变化评估段落贡献。

优势

• 模型无关：直接利用主模型概率估计，无需额外参数；
• 零额外成本：无需蒙特卡洛采样，降低计算开销；
• 可解释性强：段落级进度便于理解调试。

训练流程

整合段落级进度到GRPO训练：正向进度段落给予更高优势估计，信念下降段落惩罚，冗余段落鼓励简洁，提升样本效率。

实验结果

• 数学推理：准确率提升2.6%，推理长度缩减13.7%；
• 通用领域：准确率提升2.4%，推理长度缩减4%；
• 跨模型一致性：在多种模型上稳定提升。

方法对比

方法	过程监督	额外模型	计算成本	主要局限
GRPO	无	无	低	粗粒度反馈
PRM-based	有	需要PRM	中	PRM训练成本高
MCTS/Tree	有	无	高	蒙特卡洛采样开销大
GRPO-VPS	有	无	低	需设计分段策略

1. 推理效率优化：抑制冗余推理，降低计算成本；
2. 错误诊断：可视化推理过程，定位易出错环节；
3. 人机协作：介入模型信心不足的段落；
4. 教育应用：识别学生推理误区，提供针对性反馈。

1. 分段策略依赖：结构不清晰的推理难以合理分段；
2. 信念校准问题：模型概率估计可能存在校准偏差；
3. 复杂推理挑战：多跳/创造性推理中信念变化难捕捉质量；
4. 答案泄露区分：需区分模式匹配与真正推理进度。

GRPO-VPS通过信念探测机制，在无需额外标注的情况下实现细粒度过程监督，为RLVR范式发展提供新思路。它同时提升推理准确性与效率，对LLM在数学、科学等复杂推理领域的应用具有重要价值。