EGRSD：通过熵感知自蒸馏提升大语言模型推理效率

本文提出EGRSD（熵引导的强化自蒸馏）方法，通过教师模型熵置信门控机制动态调整推理链各位置的监督权重，解决现有自蒸馏统一加权的问题。该方法在保持准确率的同时优化推理长度，在Qwen3模型上验证有效；还提出CL-EGRSD因果前瞻变体，进一步精准调整监督信号。本文将从背景、方法、实验、意义等方面展开讨论。

近年来，大型语言模型推理能力进展显著，自蒸馏技术让模型从自身推理轨迹学习，由教师模型提供token级监督。但现有方法对所有token赋予相同权重，忽略教师预测分布熵的变化——部分位置模型确定，部分位置高度不确定，统一加权导致噪声信号与可靠信号同等对待，成为提升效率的关键挑战。

EGRSD方法通过熵置信门控机制解决统一加权问题，token级更新为三个信号乘积：

1. 奖励导向信号：基于任务奖励（如答案正确性）指引方向，对齐训练目标；
2. 师生似然比幅度：衡量师生模型预测差异，差异大则学生需更大更新幅度；
3. 教师熵置信门控（核心）：根据教师预测熵动态调整权重——低熵（确定）位置高权重，高熵（不确定）位置低权重，且设非零下界避免忽略步骤。

论文提出CL-EGRSD变体，区分两种高熵位置：

• 持续性高熵：推理段落整体困难，连续位置不确定；
• 瞬时高熵：暂时不确定，后续上下文清晰。 通过因果前瞻机制，观察高熵位置后续上下文：若后续转低熵则提高当前权重，若持续高熵则保持低权重，使监督信号更精准。

在Qwen3-4B和Qwen3-8B模型上实验，结果显示：

• 准确率-长度前沿提升：比现有方法在准确率-长度权衡曲线上表现更好，可保持/提高准确率同时缩短推理链，或相同长度下更高准确率；
• 效率优势：避免高不确定性位置浪费资源，训练更高效；
• 泛化能力：不同规模模型效果一致，熵感知机制泛化性好。

EGRSD的意义：

• 理论层面：揭示模型不确定性估计可作为有效学习信号，为自监督、课程学习提供新思路；
• 实践层面：轻量级改进，无需额外模型或架构修改，仅调整损失函数权重，易集成到现有流程；
• 效率层面：优化准确率-长度权衡，降低部署成本（更短推理链→更低延迟和开销）。

局限：

1. 实验主要在Qwen3模型进行，其他架构（如GPT、LLaMA）适用性需验证；
2. 熵门控超参数（如阈值、下界）需针对不同任务调优。 未来方向：

• 扩展到多模态推理；
• 探索更复杂的因果前瞻窗口策略；
• 结合其他强化学习变体（如PPO、GRPO）。

EGRSD通过熵感知机制为自蒸馏分配更智能的监督信号，聚焦模型真正需要帮助的推理步骤，实现高效能力提升。它提醒我们，训练推理模型不仅要关注‘学什么’，还要关注‘在哪里学’，将资源集中在关键步骤上。