StrataRL：面向小语言模型的多领域推理强化学习框架

StrataRL是面向小语言模型的多领域推理强化学习框架，针对GRPO训练中的跨领域灾难性遗忘问题，通过分层优势归一化（SAN）和结构化模板奖励（ST-GRPO）机制，实现数学、常识和策略推理任务的同步提升，避免传统训练中此消彼长的现象。

群体相对策略优化（GRPO）是训练大语言模型推理能力的主流方法，但标准GRPO在多领域混合训练时存在跨领域灾难性遗忘：模型在某一领域（如数学推理）提升时，另一领域（如常识问答）能力下降。原因在于全局优势归一化将简单领域（高奖励）和困难领域（低奖励）的奖励混在一起比较，导致困难领域有效轨迹被抑制。StrataRL正是针对这一问题的解决方案。

分层优势归一化（SAN）

不同领域奖励在各自领域内归一化，根据批次奖励方差动态选择策略：零方差仅中心化，低方差阻尼缩放，正常方差Z-归一化，避免跨领域梯度偏差。

结构化模板奖励（ST-GRPO）

为各领域定义特定推理模板（如数学需<decompose>等标签），通过正则表达式验证输出结构，无需外部奖励模型，提供可靠推理质量信号。

训练流程关键环节：

1. UCB课程采样器：自适应领域调度，优先处理模型表现差的领域；
2. Rollout引擎：支持Hugging Face（本地M4）和vLLM（GPU环境）后端；
3. 复合奖励：结果奖励（数值/字母/是与否验证）、结构奖励（模板检查）、重复惩罚；
4. GRPO损失：QLoRA高效训练，无冻结参考模型节省显存，对数比率裁剪和精确KL对齐确保稳定。

严格遵循训练提示模板测量基线（GSM8K:0.500，MMLU:0.300），经优化后Qwen2.5-3B-Instruct模型取得：

• GSM8K数学推理提升约10%至0.600以上；
• MMLU常识问答提升约10%至0.400以上；
• StrategyQA策略推理提升约5%至0.950以上； 所有领域同步提升，无跨领域遗忘现象。

消融实验关键发现：

• 移除SAN导致困难领域训练稳定性显著下降；
• 纯结果奖励在多步推理领域表现不佳；
• 不精确旧策略概率导致KL漂移和训练不稳定；
• 固定噪声强度引发时间漂移，退火策略有效缓解。

局限性

• 计算资源需求高，本地M4仅支持小组大小；
• 模板设计领域特异性强，扩展需人工设计；
• 部分领域奖励稀疏影响收敛。

未来方向

• 开发通用结构奖励模板生成方法；
• 探索自适应领域权重调整策略；
• 扩展至更大模型（7B、13B）。