SARL：通过奖励推理拓扑结构实现无标签强化学习

本文介绍SARL（结构感知强化学习），一种无需标签或真实奖励的推理模型训练框架。传统强化学习（如RLVR）依赖可验证答案，限制于封闭域任务，且过度关注结果易导致模型利用捷径。SARL将监督焦点转向推理路径结构，通过构建推理图并奖励其小世界拓扑特性（局部聚类性+全局可达性），在数学和开放式任务上均取得显著性能提升。

强化学习（如RLVR）在数学、代码等封闭域任务成功，但需可验证正确答案，无法应用于创意写作、伦理推理等开放式领域（答案模糊/主观）。此外，过度关注结果可能让模型学会捷径，缺乏可泛化的推理能力，推理轨迹无有效约束，路径脆弱。

推理图构建

从模型中间思维步骤提取推理图，节点代表推理状态/子目标，边代表转换关系，可捕捉分支、循环、层次结构（区别于线性思维链）。

小世界拓扑奖励

借鉴复杂网络理论，奖励同时具备高局部连贯性（相邻步骤逻辑关联）和高全局效率（路径无冗余）的推理图。

无标签训练范式

1. 模型生成含中间步骤的响应；2. 提取推理图；3. 计算拓扑特征；4. 以拓扑质量为奖励优化策略，摆脱对标签依赖。

在Qwen3-4B模型上实验：

• 数学任务：PPO算法提升9.1%，GRPO提升11.6%（无真实奖励仍超越传统RL方法）；
• 开放式任务：PPO提升34.6%，GRPO提升30.4%（传统RLVR无法应用）；
• 训练动态：更低KL散度（学习稳定，无灾难性遗忘）、更高策略熵（保持探索能力）。

范式转变

从关注结果转向关注推理过程，类似教育从应试到素质教育，培养正确思维方式。

跨领域泛化

不依赖特定领域答案，推理能力可迁移至科学推理、逻辑谜题等。

神经科学联系

灵感来自人类大脑功能组织，未来可结合神经科学发现提升模型。

• 推理图提取：从自由文本提取结构化推理图的准确性需提升；
• 计算开销：拓扑特征计算增加资源消耗，超大规模模型训练效率待优化；
• 方法结合：未来可探索与基于结果的方法混合，形成更强大范式。

SARL突破传统RLVR在开放式领域的限制，通过奖励推理拓扑结构培养可泛化推理能力。在通用智能追求中，教会模型'如何思考'比'思考什么'更关键，SARL为此提供技术支撑。