推理数据质量评估新发现：模型规模决定最优数据筛选策略

研究人员发现推理训练数据的质量预测指标具有规模依赖性——小模型需要精准对齐的数据，大模型则受益于高冗余度的详细推理链。这一发现为推理模型训练前的数据筛选提供了实用框架，有助于降低试错成本，提升研发效率。

当前大型语言模型的推理能力提升主要依赖监督微调（SFT）和强化学习（RL），但这些方法的成功高度依赖训练数据质量。验证推理数据集有效性需昂贵试错实验（先训练后验证），成本极高制约研发效率。传统启发式规则（如答案长度、格式规范性）缺乏理论支撑，无法准确预测下游表现，业界迫切需要训练前可靠预测数据效用的内在度量体系。

研究揭示：预测推理数据效用的指标具显著规模依赖性。实验用8B和11B参数模型在波兰语推理数据集变体上微调，发现不同规模模型对数据特征敏感度本质不同：小模型（如8B）需高度精准、格式统一、逻辑严密的对齐数据，冗余信息会干扰学习；大模型（如11B）能从高冗余度、详细多步骤推理链中获益，可提取深层推理模式。

实验框架：构建波兰语推理数据集及多个语义变体（在对齐度、冗余度、推理链长度等维度不同）；提出定量内在数据度量指标（对齐度量、冗余度量、复杂度度量、多样性度量）；通过训练模型记录性能，建立内在指标与下游质量的统计相关性模型，验证指标能可靠预测性能但权重随模型规模变化。

实践指导：小模型团队优先选格式规范、逻辑精准、与目标任务高度对齐的数据，避免冗长或冗余推理示例；大模型团队可放宽简洁性要求，收集含丰富推理细节的数据（如详细思维链、多角度分析）；框架可训练前评估数据集价值，避免昂贵试错，加速迭代开发、降低研发门槛。

局限性：实验主要在波兰语数据集进行，结论是否适用于其他语言需验证；仅测试8B和11B模型，更大规模（如70B+）模型行为可能不同；仅关注SFT场景，RL训练阶段数据筛选策略是否遵循相同规律待探索。未来方向：扩展到多语言环境、更大规模模型、RL训练场景。

核心结论：没有放之四海而皆准的数据质量标准，最优数据筛选策略取决于目标模型规模。小模型需精准对齐数据，大模型受益于详细推理轨迹。该规模感知框架有望帮助研究人员更高效构建高质量推理训练数据集，推动推理模型技术发展。