RSAT：基于强化学习的小型语言模型表格推理与细粒度引用生成

RSAT（Reasoning with Small models on Tables）项目聚焦于让小型语言模型（如7B参数级别）实现高质量表格推理，并生成单元格级别的细粒度引用。其核心创新在于采用监督微调（SFT）与群体相对策略优化（GRPO）强化学习相结合的训练策略，兼顾推理忠实度、引用准确性与模型效率，为金融、医疗等高风险场景的可解释AI应用提供解决方案。

表格数据是结构化信息的重要载体，但表格推理面临理解单元格内容、行列关系、数值计算及提供可信结论的挑战。RSAT项目针对此，目标是让小型语言模型实现高质量表格推理，并提供细粒度的单元格引用依据，以满足金融、医疗、法律等高风险场景的可解释性需求。

RSAT采用两阶段训练：1. SFT阶段：利用包含问题-表格-答案三元组及单元格引用标注的高质量数据集，让模型学习基本表格理解和引用生成模式；2. GRPO阶段：通过群体相对策略优化（无需额外价值模型），设计奖励函数优化回答正确性和引用准确性，对准确引用给予正向反馈，对幻觉或遗漏给予惩罚。

RSAT的特色功能是单元格级引用，模型生成的回答附带引用的单元格坐标（如第几行第几列）。这依赖特殊输出格式设计，确保结论有明确数据来源。该机制提升了可验证性，用户可快速核对模型推理的正确性，降低AI应用的信任门槛。

RSAT使用7B参数级别的小型模型，推理成本低，可部署于资源受限环境；经训练的小型模型在表格推理基准测试中，忠实度和引用准确性指标优异，甚至能媲美大型模型；GRPO强化学习比PPO更稳定高效，训练成本低，便于学术研究者和小型团队复现改进。

RSAT可应用于财务分析（辅助提取财报指标并验证）、科学研究（从实验数据表提取洞察）、企业管理（智能问答并展示数据来源）等场景。细粒度引用机制支持人机协作：AI提供分析和引用依据，人类专家审核验证，兼顾效率与决策可靠性。

当前RSAT的局限：对复杂嵌套表格、跨表格关联推理支持不足；主要针对英文场景。未来方向：结合视觉模型处理扫描版表格图像、扩展多轮对话式表格探索、将引用机制应用到更广泛推理任务、支持多语言表格推理。

RSAT项目通过SFT与GRPO协同训练，为表格推理领域提供了兼具创新与实用的解决方案。其让小型模型实现高质量表格理解和细粒度引用，兼顾性能与效率，为AI普惠化应用提供参考。随着结构化数据的重要性提升，RSAT代表的可解释表格推理技术具有广阔应用前景。