# Tiny Think：单卡训练 140M 参数小模型的推理优先后训练研究 > Tiny Think 是一项针对超小语言模型（140M 参数）的推理能力后训练研究。项目在单张消费级 GPU 上探索了监督微调和偏好优化对数学推理与通用推理能力的影响，揭示了后训练可能带来的能力权衡现象。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-04-06T20:25:01.000Z - 最近活动: 2026-04-06T20:51:59.528Z - 热度: 141.6 - 关键词: 小语言模型, 后训练, 推理能力, DPO, 监督微调, 数学推理, 单卡训练, 开源研究 - 页面链接: https://www.zingnex.cn/forum/thread/tiny-think-140m - Canonical: https://www.zingnex.cn/forum/thread/tiny-think-140m - Markdown 来源: ingested_event --- ## 研究背景：小模型推理的未知领域 大语言模型的规模竞赛仍在继续，但一个更实际的问题逐渐浮现：我们能否在极小的模型规模上实现有效的推理能力？Tiny Think 项目正是针对这一问题的深入研究。项目聚焦于 140M 参数规模的超小模型，探索在严格硬件约束下进行推理优先的后训练（post-training）会产生什么效果。 选择 140M 参数规模并非随意为之。这个规模足够小，可以在单张消费级 GPU 上运行；同时又足够大，理论上可以编码一定的推理模式。更重要的是，这个规模接近当前移动设备和边缘计算场景的部署上限，研究成果具有直接的实用价值。 ## 核心研究问题与方法 项目研究的核心问题是：后训练究竟如何影响极小模型的推理能力？具体来说，项目关注三个层面的问题： 首先，监督微调（SFT）能否在 140M 规模上产生有意义的数学推理能力？其次，偏好优化（DPO/APO）能否进一步提升任务特定的数学准确率？第三，这些优化是否会带来其他能力的退化？ 为了回答这些问题，项目设计了一个严格控制的实验环境。所有实验在单台机器、单张 RTX 5060 Ti（16GB 显存）上进行，不使用分布式训练、DeepSpeed、FSDP 或 LoRA 等技术，只进行全参数微调。基础模型固定为 facebook/MobileLLM-R1-140M-base，确保实验结果的可比性。 ## 两阶段后训练方案 Tiny Think 采用简洁的两阶段后训练方案。第一阶段是监督微调（SFT），使用约 6000 万 token 的数学和 STEM 数据，包含显式的推理过程。数据来源于 allenai/Dolci-Think-SFT-7B 数据集，经过筛选适配小模型训练。 第二阶段是偏好优化，使用约 1000 万 token 的数学/STEM 偏好对数据，尝试 DPO（Direct Preference Optimization）和 APO-zero 两种算法。这个阶段的目标是校准模型的解决方案选择能力，使其更倾向于输出正确的推理路径。 这种分阶段的训练策略反映了当前大模型后训练的通用范式：先用 SFT 建立基础能力，再用偏好优化进行精细调整。但在 140M 规模下，这种策略是否依然有效，正是项目想要验证的假设。 ## 关键发现：能力提升与能力税 实验结果揭示了一个重要现象：后训练确实能够提升特定任务的表现，但可能伴随通用能力的退化。项目称之为"能力税"（capability tax）。 具体数据显示，经过 SFT 训练的模型在 GSM8K 数学基准上达到 8.04% 准确率，在 BBH 通用推理基准上达到 23.84%，在 IFEval 指令遵循基准上达到 21.63%。这是一个相对平衡的检查点。 经过 DPO 优化后，GSM8K 提升到 9.40%，但 BBH 下降到 13.18%，IFEval 下降到 16.45%。类似地，APO-zero 优化后 GSM8K 为 8.26%，BBH 为 12.01%，IFEval 为 16.08%。 这些数据揭示了一个清晰的权衡关系：偏好优化确实能够提升数学特定任务的表现，但同时会损害更广泛的推理能力和指令遵循能力。如果只关注数学指标，就会错过这种重要的能力退化现象。 ## 评估体系与基准选择 Tiny Think 的评估体系设计体现了对推理能力的全面关注。除了数学基准 GSM8K 和 MATH500，项目还引入了 BBH（Big Bench Hard）作为通用推理能力的衡量，以及 IFEval 作为指令遵循能力的指标。 此外，项目还测试了多个 STEM 相关任务，包括 MMLU-STEM、ARC-Challenge、OpenBookQA、GPQA 和 PIQA。这种多维度的评估策略确保了模型能力变化的全面捕捉，避免了单一指标优化带来的偏差。 评估使用 vLLM 进行推理加速，配合 lm-eval 框架执行标准化测试。这种配置既保证了评估效率，又确保了结果的可复现性。 ## 技术实现细节 项目的技术实现体现了研究导向的设计理念。代码使用 Python 3.12 和 uv 包管理器，保持环境的一致性。训练部分基于 trl 库，集成了 Liger Kernel 等优化技术以提高训练效率。 项目结构清晰，分为配置、数据、训练和评估四个主要模块。配置文件采用 YAML 格式，记录了论文中使用的所有实验配置。数据模块提供了数据集下载和预处理工具。训练模块包含 SFT 和偏好优化的入口脚本。评估模块提供了基于 vLLM 的批量评估脚本。 值得注意的是，项目明确声明这不是一个通用的训练框架，而是一个受控的研究代码库。这种定位有助于用户正确理解项目的适用范围，避免在不合适的场景下使用。 ## 研究意义与启示 Tiny Think 的研究结果具有重要的理论和实践意义。理论上，它揭示了后训练在极小模型规模下的特殊行为模式：能力优化不是免费的，而是需要在不同能力维度之间进行权衡。 实践上，这项研究提醒开发者在进行模型后训练时要建立全面的评估体系，不能仅关注任务特定的指标。特别是对于资源受限场景下的小模型部署，需要在数学能力、通用推理和指令遵循之间找到适合具体应用的平衡点。 项目的另一个贡献在于证明了高质量的研究可以在极其有限的硬件条件下完成。单张消费级 GPU、140M 参数规模、全参数微调，这些约束条件使得研究具有极高的可复现性，降低了其他研究者跟进验证的门槛。 ## 开源生态与学术贡献 Tiny Think 采用 Apache-2.0 开源协议，代码、模型和论文全部公开。项目发布了 Hugging Face 模型集合，包含 SFT、DPO 和 APO 等不同训练阶段的检查点，方便社区进行比较研究。 论文以 camera-ready 形式随代码一起发布，展示了完整的研究过程和结果。这种开放的研究模式符合当前 AI 领域的发展趋势，有助于加速知识传播和技术进步。 对于那些关注小模型推理、边缘计算部署或模型后训练权衡的研究者和工程师，Tiny Think 提供了一个极具参考价值的研究案例和起点。