Faithful GRPO：通过约束策略优化提升多模态模型的视觉空间推理可信度

本文介绍Faithful GRPO（FGRPO），一种针对多模态模型视觉空间推理可信度问题的约束策略优化方法。当前多模态推理模型存在思维链与答案逻辑不一致、推理缺乏视觉证据忠实引用的问题，FGRPO通过拉格朗日对偶上升强制执行逻辑一致性和视觉grounding约束，将推理不一致率从24.5%降至1.7%，同时提升答案准确率。

基于可验证奖励的强化学习（RLVR）是训练多模态推理模型的主流范式，GRPO优化带来准确率提升，但存在隐性代价：推理质量下降，表现为逻辑不一致（思维链与答案矛盾）和视觉grounding缺失（推理描述与图像不符）。研究团队通过七个真实世界空间推理基准测试发现该问题普遍存在，并提出逻辑一致性和视觉grounding双维度评估框架。

FGRPO是GRPO的变体，核心是将推理质量约束纳入优化目标。具体引入两类批级约束：一致性约束（惩罚思维链与答案逻辑矛盾）、grounding约束（惩罚推理描述与视觉证据不符）。采用拉格朗日对偶上升方法，动态调节约束权重：训练初期权重低，允许学习基本结构；后期权重增强，迫使提升质量，避免训练崩溃或约束过弱。

在Qwen2.5-VL-7B和3B模型上测试七个空间推理数据集，结果显著：不一致率从24.5%降至1.7%，grounding评分提升13%，答案准确率同步提升。且效果在两种模型规模上均验证，具有良好泛化性。

FGRPO为可信AI提供方法论启示：1. 过程监督比仅关注结果更能带来可靠模型行为；2. 拉格朗日对偶上升是强化学习中融入复杂约束的有效途径；3. 可解释性与性能可协同，忠实推理导向更准确结论。

FGRPO是多模态推理训练方法的重要进步，通过显式约束优化提升推理可信度，同时保持或提升准确率。随着多模态AI在高风险领域应用，推理可信度将成关键指标，FGRPO的约束优化范式为未来研究奠定基础。