深入解析大语言模型的策略蒸馏：现象、机制与实践指南

本文聚焦大语言模型后训练中的策略蒸馏（OPD）技术，清华研究团队系统性揭示其成功的两个关键条件——思维模式兼容性与教师提供新能力，并提出离策略冷启动、教师对齐提示选择等实用改进方法，同时探讨了OPD的隐性成本与未来研究方向。

近年来大语言模型（LLM）进入后训练阶段，策略蒸馏（OPD）成为核心技术之一。与传统监督微调不同，OPD允许学生模型实时与教师模型交互获取丰富学习信号，但其实践成效显著却缺乏系统性理论解释，清华团队的研究填补了这一空白。

策略蒸馏是特殊知识蒸馏方法，核心为策略性数据生成：学生模型输出作为训练样本，教师模型评分反馈。其优势包括动态适应（学生探索空间决定数据分布）、密集奖励（每个token获反馈）、能力迁移（学习教师特定上下文行为），但动态性带来效果差异的复杂性。

1. 思维模式兼容性：师生模型需采用相似推理路径与表示方式，同家族模型（如Qwen或Llama系列）兼容性更高，小规模同家族教师效果或与跨家族大模型相当；2. 教师提供新能力：教师需展示学生未掌握的推理技巧、知识边界或解决方法，仅重复已知内容无法带来实质提升。

成功OPD呈现三大特征：1. 渐进式对齐：学生逐步与教师高概率令牌达成一致；2. 小核心令牌集：97%-99%概率质量集中于小共享令牌集合；3. 状态访问重要性：学生生成的上下文决定其能从教师处学到的内容。

1. 离策略冷启动：训练初期引入外部数据源或强生成器扩展输出空间，具备基础探索能力后切换至标准OPD；2. 教师对齐的提示选择：优先选择教师能展示明显优势、提供新见解的提示以提升学习效率。

启示：优先选同家族教师、验证教师新颖性、监控核心令牌对齐、结合离策略数据与OPD；隐性成本：长程任务面临信用分配、探索利用权衡、计算开销问题；未来方向：探索OPD在复杂长程任务的扩展，设计更高效可扩展的蒸馏策略。