ScaleLogic：揭示强化学习训练长程推理的幂律规律

ScaleLogic框架通过可控逻辑推理环境发现：强化学习训练计算量与推理深度呈幂律关系，逻辑表达力的丰富程度决定幂律指数；更富表达力的训练设置可带来高达10.66分的性能提升。该研究为理解大模型长程推理能力的扩展规律提供了新视角。

开放问题

近年来RL被广泛用于提升大模型推理能力，但核心问题未解决：RL训练如何随任务难度扩展？

现有局限

缺乏可控、可扩展的评估环境：真实推理任务（如数学竞赛题）难以精确控制难度，评估成本高，无法系统性研究训练计算量与任务难度的关系。

ScaleLogic框架设计

提供两个独立控制的难度维度：

1. 推理深度：完成证明所需规划步骤数
2. 逻辑表达力：支持从简单到复杂的逻辑系统（蕴含、合取、析取、否定、全称量词）

方法论亮点

• 独立变量控制：合成环境可单独操纵推理深度与表达力
• 可重复性：合成任务生成机制确保实验可重复
• 跨方法验证：幂律关系适用于PPO、GRPO等多种RL方法
• 课程学习增益：从简单到复杂的任务过渡提升训练效率

核心发现

训练计算量T与推理深度D呈幂律关系：T ∝ D^γ（拟合度R²>0.99），幂律指数γ随表达力提升单调增加（1.04→2.60）

表达力影响

1. 训练效率：简单蕴含逻辑（γ≈1.04）线性增长，一阶逻辑（γ≈2.60）超线性增长
2. 下游迁移：高表达力训练模型在数学/通用推理基准中最高提升10.66分，相同计算预算下表现更优

实验细节

• 任务：构造逻辑证明序列，正确性自动验证
• 模型：Transformer架构（数百万到数十亿参数）
• 超参数：系统探索学习率、批次大小等确保普适性

ScaleLogic首次在受控环境下揭示了RL训练计算量与推理深度的幂律关系，扩展了神经网络Scaling Law的理解；核心发现挑战“简单任务优先”直觉，表明训练内容的“质”与“量”同样重要。该框架为预测和优化推理能力扩展提供了工具。

1. 训练数据选择：优先投入高表达力、挑战性任务，而非大量简单任务
2. 评估基准设计：覆盖不同表达力层次，避免低估模型真实能力
3. 计算资源分配：根据幂律指数γ，结合目标推理深度与预算优化训练配置

局限

合成逻辑任务与真实推理任务（数学证明、科学推理）存在差距

未来方向

• 验证发现在复杂真实领域的适用性
• 探索普适的表达力量化方法
• 研究最优课程设计策略
• 结合模型架构创新（推理模块、记忆机制）提升性能