RLCSD：对比式自蒸馏解决推理模型中的"特权诱导风格漂移"问题

标题：RLCSD：对比式自蒸馏解决推理模型中的"特权诱导风格漂移"问题

研究人员发现on-policy自蒸馏（OPSD）存在"特权诱导风格漂移"问题，学习信号集中在风格token而非任务token上。提出的RLCSD方法通过对比正确与错误提示下的教师-学生差距解决该问题，在多个模型上取得一致改进。

来源信息：

• 原作者：arXiv论文作者
• 来源平台：arXiv
• 发布时间：2026年6月10日
• 原文链接：http://arxiv.org/abs/2606.11709v1

关键词：RLCSD, 强化学习, 自蒸馏, 推理模型, 对比学习, 风格漂移, GRPO, 机器学习

大型推理模型（如DeepSeek-R1、OpenAI o系列）通过强化学习在数学和逻辑推理任务上取得显著成果，其中on-policy自蒸馏（OPSD）是重要训练技术，通过将模型分布与特权上下文（已验证解决方案）下的分布对齐，提供密集token级监督。然而，研究揭示OPSD的学习信号存在严重偏差：集中在风格token而非任务token上。

问题根源

当模型在特权提示（正确答案/思路）下生成输出时，倾向于更直接简短的回答（无需探索）；无特权提示时需更长推理链。

后果

1. 训练不稳定：模型在有无特权提示间摇摆
2. 响应长度缩短：模仿简短风格，牺牲深度推理
3. 信号稀释：任务相关token未获足够关注

简言之，模型学习"怎么说"而非"怎么想"。

RLCSD（Reinforcement Learning with Contrastive On-Policy Self-Distillation）核心思想是通过对比学习分离风格与任务信号。

核心机制

同时考虑两种特权提示：

1. 正确提示：提供正确答案/思路
2. 错误提示：提供错误答案/误导思路

通过对比两种情况下教师-学生分布差距，实现：

• 识别风格偏移（两种提示下风格变化类似）
• 抑制风格漂移（抵消共同风格成分）
• 聚焦任务信号（保留任务相关差异）

数学直觉

有效信号 = (正确提示下的差距) - (错误提示下的差距) 风格漂移在两种情况均存在，相减抵消；任务信号仅在正确提示存在，得以保留。

测试模型

涵盖不同规模模型：Qwen3 1.7B（轻量）、Qwen3 4B（中等）、Qwen3 8B（较大）、Olmo-3-7B-Think（开源推理模型）

测试任务

数学问题求解（GSM8K、MATH等）、逻辑推理任务、多步推理挑战

主要结果

1. 一致超越GRPO：所有设置下优于标准GRPO
2. 超越现有OPSD方法：稳定改进
3. 规模无关性：不同模型规模均保持改进

结果确保普适性。

对比原则通用性

• 增强现有OPSD：可插入现有方法提升性能
• 扩展到跨模型蒸馏：适用于教师模型指导学生模型的场景

训练启示

1. 信号质量比数量重要：OPSD密集监督需保证质量
2. 警惕隐含偏差：风格漂移不易表面体现
3. 对比学习威力：分离重要信号，可推广到其他场景

局限性

• 错误提示设计：如何设计（随机/系统性错误）最大化对比效果
• 计算开销：对比需生成评估两组输出，增加开销

未来方向

• 优化错误提示设计
• 降低计算开销
• 与其他技术结合（如过程奖励模型PRM、多智能体方法）