ETR：通过熵趋势奖励实现高效思维链推理

本文介绍ETR（熵趋势奖励）方法，其核心洞察是推理效率取决于熵的变化轨迹而非全局熵绝对值。该方法通过轨迹感知的奖励机制，在缩短思维链长度（平均减少67%）的同时提升模型准确率（平均提升9.9%），为思维链推理优化提供新方向。项目代码已开源：https://github.com/Xuan1030/ETR

思维链（CoT）推理虽提升模型复杂任务能力，但存在冗长低效问题，增加延迟与计算成本。现有优化策略如长度惩罚、全局熵最小化存在局限——前者强制缩短，后者抑制探索阶段的创造性思考，因未考虑推理动态过程的不确定性变化。

ETR基于“熵变化轨迹决定效率”的洞察，设计轨迹感知奖励机制：1.监控推理各步骤预测熵形成轨迹；2.量化熵序列趋势；3.对向下熵趋势轨迹给予正向奖励；4.集成到GRPO框架优化策略。技术亮点在于保留探索行为、识别高效推理模式、适应不同任务特性。

以DeepSeek-R1-Distill-7B模型为例，在多基准测试中：准确率平均提升9.9%，思维链长度平均减少67%，效率-准确率权衡优于基线。且该方法在不同架构/规模模型上表现一致，泛化性强。

ETR可显著降低推理成本（节省计算资源）、改善用户体验（更简洁易读的推理过程），并为高效推理研究开辟新方向（如精细轨迹建模扩展）。

ETR通过关注熵演化轨迹实现思维链推理突破，启示优化复杂AI系统需重视动态过程特性。随着大模型应用普及，此类效率优化技术将推动AI普惠化。代码开源链接：https://github.com/Xuan1030/ETR