Prune-OPD：长程推理中的高效可靠策略蒸馏方法

本文提出Prune-OPD框架，针对长程推理任务中策略蒸馏的前缀漂移问题，通过动态监测学生与教师预测的局部一致性，实现训练时间减少37.6%-68.0%的同时保持甚至提升模型性能，为长程推理模型训练提供了高效可靠的策略。

策略蒸馏（OPD）是提升大语言模型推理能力的重要技术，但扩展到长程推理时面临"前缀漂移"难题：学生生成的推理前缀与教师思维偏离，导致教师提供的密集奖励失去局部可利用性，既降低奖励质量又造成计算浪费。

Prune-OPD框架包含漂移检测和动态截断两个关键组件：通过top-k重叠度监测学生与教师预测的局部兼容性；检测到漂移时，对不可靠奖励降权并启动动态rollout截断。同时采用自适应策略：兼容性高时保留长上下文监督，漂移时截断资源重新分配，实现计算效率最优。

在AMC、AIME、HMMT等数学推理基准上，Prune-OPD较标准OPD减少37.6%-68.0%训练时间，且性能保持或提升；在不同教师-学生模型组合下表现出良好泛化性，稳定优化计算效率与性能。

Prune-OPD的成功表明，知识蒸馏中智能筛选教师信号、采用质量感知学习策略，可在保证性能前提下大幅提升训练效率；该思路可延伸至更广泛的AI系统训练，为动态分配计算资源提供参考。

Prune-OPD存在局限：top-k重叠度作为漂移检测指标可能非最优，动态截断策略在极端情况可能激进。未来可探索更精细的漂移检测机制和更保守的截断策略，以在更广泛场景下平衡效率与性能。