DOT：动态异常值截断技术助力高效推理模型训练

DOT（动态异常值截断技术）是ACL 2026录用论文的官方代码实现，针对推理模型训练中的"长度偏移"问题提出动态异常值截断方法，在保持模型性能的同时显著提升训练效率与稳定性，为推理模型训练优化提供新方案。

推理模型训练面临"长度偏移"挑战——模型倾向生成冗长推理链，导致训练效率低、推理成本高、收敛不稳定。现有方法（长度惩罚、硬截断、课程学习）采用固定策略，无法适应动态数据分布，效果有限。

DOT核心是动态异常值截断思路：1.异常值检测机制（实时跟踪长度分布、动态阈值计算、上下文感知）；2.选择性截断策略（保留有效长链、截断冗余短链、梯度重加权）；3.在线适应机制（实时统计更新、滑动窗口估计、平滑过渡）。技术实现上采用稳健统计（中位数+四分位距）、综合截断决策逻辑（相对长度+任务难度+训练阶段）及训练稳定性保障（渐进引入、温度退火、验证集监控）。

在数学推理（GSM8K、MATH）、代码生成（HumanEval、MBPP）、逻辑推理等基准测试中，DOT表现显著：平均推理长度减少30-50%且保持/提升准确率；训练时间缩短20-40%，GPU内存占用降低，收敛加快；模型质量与基线相当甚至略有提升。消融研究验证动态阈值、分位数检测、在线适应的必要性。

DOT可降低训练成本（减少计算资源消耗）、改善用户体验（缩短推理延迟）、助力环境友好（降低能源消耗与碳排放），具有直接商业价值与可持续性意义。

当前局限包括超参数敏感性、任务特异性、理论理解有限。未来可探索自适应超参数、多任务通用策略、理论分析及与强化学习/蒸馏等技术的结合。

DOT为解决推理模型长度偏移问题提供有效方案，在保持性能的同时提升训练效率，不仅具有实用价值，也为理解推理模型学习动态提供新视角，将随推理模型普及发挥重要作用。