V-tableR1：过程监督强化学习开启多模态表格推理的可验证时代

本文介绍V-tableR1框架，通过专门的评判VLM提供密集步骤级反馈，结合PGPO算法优化，使多模态大模型从黑盒模式匹配转向可验证的逻辑推导，在复杂表格推理基准上实现开源模型最优性能。该框架标志着多模态推理范式从黑盒模式识别向透明、可验证逻辑推导的重大转变。

当前多模态大模型（MLLMs）采用端到端训练范式，内部机制缺乏透明度，倾向依赖统计相关性猜测答案而非逻辑推理。在表格推理中，需定位单元格、提取数值、执行运算、验证逻辑，黑盒模式易导致错误率失控。监督微调（SFT）和结果导向强化学习仅关注最终答案， incentivizes捷径学习和幻觉，生成逻辑错误的中间步骤。

V-tableR1引入过程监督机制，评判模型对推理链每一步验证。表格因结构化特性成为理想测试平台，允许显式视觉思维链（如定位列、提取数值、计算增长率）。双VLM架构中，策略VLM生成推理链和答案，评判VLM对每一步反馈（是否合理、有无错误、方向是否正确），提供密集步骤级学习信号。

研究团队提出Process-Guided Direct Alignment Policy Optimization（PGPO）算法：1. 过程奖励整合：将评判反馈转化为细粒度步骤奖励（正确定位正奖励，错误提取惩罚）；2. 解耦策略约束：平衡探索新策略与保持基础能力；3. 长度感知动态采样：自适应调整推理链长度（早期短链建基础，后期长链促严谨）。

V-tableR1在复杂表格推理基准表现优异：1. V-tableR1-4B（40亿参数）超越18倍参数模型，证明推理能力提升不依赖规模扩大；2. 较SFT基线显著提升准确率与推理质量；3. 消融实验显示过程监督有效抑制幻觉（虚构数值）和捷径学习（跳过步骤）。

V-tableR1贡献包括：1. 可验证推理通用框架（适用于图表理解、几何证明等结构化视觉任务）；2. 评判模型专业化路径（提供更准确反馈）；3. 范式转变：从统计模式匹配转向逻辑推导，为高风险场景（医疗、金融）AI部署提供前提。

V-tableR1存在局限：1. 依赖表格结构化输入，扩展到开放域图像需新推理链表达与验证；2. 评判模型训练成本高（步骤级标注贵）；3. 推理链长度与效率需权衡；4. 缺乏过程监督有效性的理论基础。未来方向包括半自动评判模型训练、自适应推理深度、多学科理论研究。

V-tableR1应用前景广泛：金融数据分析（审计可验证推理链）、科学研究辅助（快速分析实验表格）、商业智能（非技术用户自然语言接口）。结语：V-tableR1是多模态推理里程碑，证明过程监督强化学习可将模型转为透明逻辑推理引擎，推动AI向严谨可靠方向演进。