NeurIPS 2025 论文配套数据发布：揭示大推理模型的终止不对齐问题

NeurIPS 2025接收论文《Termination Misalignment in Large Reasoning Models》配套数据集trm-data-neurips正式发布，旨在揭示大推理模型（LRM）的终止不对齐问题。该数据集包含系统性评估结果，帮助研究者理解模型何时、为何停止推理，为后续模型优化与研究提供基准支撑。

随着OpenAI o1、DeepSeek-R1等推理模型的兴起，大型语言模型展现出类似人类的思考链（Chain-of-Thought）能力，显著提升数学、编程等任务表现。然而，模型何时应停止思考这一关键问题易被忽视，成为当前推理模型发展的潜在瓶颈。

终止不对齐指模型内部推理过程与最终输出不一致，具体表现为：

1. 过早终止：未充分探索解决方案就给出结论
2. 过度推理：找到正确答案后仍继续不必要计算
3. 推理与结论脱节：中间步骤与最终答案逻辑不匹配 该现象影响模型效率，甚至导致错误输出。

数据集trm-data-neurips包含：

• 多模型对比：覆盖OpenAI o1系列、DeepSeek-R1及其变体、QwQ等开源模型
• 多维度场景：数学推理（AIME/AMC）、代码生成、逻辑谜题、科学问答
• 细粒度指标：推理步骤数与正确答案关系、终止时机与难度相关性、提示策略对终止行为的影响

对开发者启示：

1. 训练策略：需引入精细奖励机制，奖励高效推理过程
2. 推理控制：替代固定思考预算，开发动态终止机制
3. 可解释性：理解终止行为提升模型可解释性 对社区贡献：提供基准，支持终止判断算法开发、模型系统性比较及可靠模型训练。

API成本优化：理解终止不对齐可减少过度推理的Token消耗，降低隐性错误成本 模型微调指导：助力设计合理推理长度奖励函数、开发早停检测机制、优化提示词引导合适终止时机。

研究者可通过数据集：

1. 复现论文结果验证原始发现
2. 添加新模型或测试场景扩展评估
3. 开发更优的终止判断模型
4. 对比自身模型与现有基准。

终止不对齐是推理模型领域未充分研究的重要课题，随着模型在医疗、法律等关键领域应用增多，确保模型在正确时间给出正确答案至关重要。期待社区基于该数据集开发更智能、可靠的推理模型。