重新思考推理SFT中的泛化：优化、数据与模型能力的条件分析

该研究从优化、数据和模型能力三个维度，系统性分析推理监督微调（SFT）的泛化问题，揭示影响泛化性能的关键因素及其相互作用机制。研究指出泛化是多因素交互的复杂现象，传统单一因素分析不足，为提升推理模型泛化能力提供了条件分析框架与实践指导。

近年来，SFT在提升模型推理能力（如思维链学习）上成效显著（如OpenAI o1、DeepSeek-R1）。但训练数据多来自特定领域/难度，模型在分布外数据的泛化能力存疑。传统分析聚焦单一因素（如数据规模），本研究提出需从优化、数据、模型能力三维度进行条件分析。

优化是SFT核心，超参数选择直接影响泛化：

1. 学习率与步数：过高易过拟合表面模式，过低无法充分学习；两者交互可能导致“虚假泛化”。
2. 优化器选择：隐式正则化效应关键，如AdamW等倾向平坦损失盆地的优化器泛化更好。
3. 批次大小：大批次梯度稳定但易陷尖锐局部最优，小批次噪声有益但训练不稳定，权衡对泛化影响显著。

数据决定SFT学习上限：

1. 多样性：需领域（不同推理任务）与难度（简单到复杂）双维度多样，纯困难数据易过拟合，适当简单数据助建立基础推理能力。
2. 质量与噪声：错误标注、格式不一致等噪声干扰学习；模型能力越强，对噪声鲁棒性越高。
3. 规模与饱和：数据规模提升性能但边际收益递减（饱和效应），饱和点与模型能力、优化配置相关。

模型能力是泛化基础：

1. 预训练质量：预训练的通用能力（世界知识、推理先验）比规模更影响泛化，高质量预训练小模型可能超越低质量大模型。
2. 规模与涌现：模型规模达阈值时，推理/泛化能力会“涌现”；阈值以下模型泛化受限，以上则SFT可解锁潜力。
3. 架构设计：Dense vs MoE、注意力机制等影响泛化，更深网络、更好位置编码与泛化正相关。

三因素交互复杂：

1. 优化-数据：高噪声数据需保守学习率/早停，大规模数据受益大批次/长训练，高难度数据需精细学习率调度。
2. 优化-模型：强模型可激进优化（大学习率/长训练），弱模型需谨慎策略。
3. 数据-模型：强模型需少但高质量数据，弱模型需多数据但对噪声鲁棒。
4. 三因素联合：匹配组合（强模型+高质量数据+优配置）泛化远超叠加，不匹配则浪费资源。

实践指导：

• 数据：优先多样性（领域+难度）与质量，而非数量；覆盖目标场景分布。
• 优化：依模型能力/数据调参，强模型用激进配置，弱模型保守。
• 模型：选预训练质量高、具相关先验的架构。
• 配置：用条件框架指导超参数搜索。

局限性与未来：

• 局限：仅针对特定推理任务，未涉及RLHF等后续阶段。
• 方向：扩展到更多领域、研究多阶段训练泛化、开发自动化配置推荐、探索模型合并影响。