ThinkTwice：联合优化大语言模型的推理与自我修正能力

ThinkTwice是CSSLab研究团队提出的基于Group Relative Policy Optimization（GRPO）的两阶段扩展训练方法，通过每个训练周期先训练模型解决推理任务、再训练其修正自身回答，实现推理能力与自我修正能力的联合优化，无需外部反馈机制，旨在提升模型自主学习能力与可靠性。

大语言模型在数学推理、代码生成等复杂任务上取得显著进展，但存在两个关键局限：初始推理易出错、难以有效识别并修正自身错误。现有方法常分开处理推理与自我修正训练，或依赖外部反馈机制，增加系统复杂度且限制模型自主学习能力。ThinkTwice项目目标是通过单一训练框架同时提升这两种能力，让模型学会"三思而后行"——先生成答案，再主动修正。

ThinkTwice的核心创新是每个训练周期分为两阶段：

1. 推理任务训练：学习解决数学竞赛题、逻辑推理题等，类似传统RLHF训练，通过生成答案的正确性奖励优化策略；
2. 自我修正训练：修正第一阶段生成的回答，奖励基于答案正确性，无需外部评判模型或人工标注，内化"检查-修正"思维模式形成自我完善闭环。 两阶段使用一致奖励信号，避免多目标优化复杂性，确保两种能力协同提升。

项目基于VErl框架实现，支持Qwen3-4B-Instruct、OLMo-3-7B-Instruct等开源模型，训练脚本和权重可通过Hugging Face下载。硬件需至少2块NVIDIA GPU（官方测试用A100/H100），软件要求Linux系统、CUDA 12.x和conda。评估基准涵盖MATH500、AIME2024、AMC等数学推理数据集。训练脚本一键运行，自动激活conda环境、配置Ray分布式训练，用Hydra管理超参数，降低复现门槛。

ThinkTwice采用多维度评估：

• Pass@k评估：生成多个样本计算不同k值通过率，对比基础回答与修正后回答的性能差异；
• 跨模型修正评估：测试模型对其他模型生成回答的改进效果，验证修正能力迁移性。 实验结果显示，训练后的模型能有效识别自身错误，修正后答案质量显著提升，对教育辅导、科研辅助等高可靠性场景具有重要价值。

ThinkTwice方法论的启示：

1. 训练效率：联合优化避免分别训练推理与修正模型的资源浪费；
2. 自主能力：自我修正能力不依赖外部系统，降低部署复杂度；
3. 可解释性：两阶段训练过程清晰，便于分析模型推理与修正阶段的行为差异；
4. 泛化潜力：可扩展到代码生成、文本摘要、问答系统等需自我验证的任务领域。

项目仓库提供详尽文档与示例脚本。步骤：准备评估数据集→下载基础模型权重→运行训练脚本。开发者可直接从Hugging Face下载预训练模型进行推理测试。ThinkTwice为提升LLM可靠性提供新思路，有望推动自我修正能力成为下一代LLM的标准配置。