Math-SLM：3.5小时高效训练数学推理小模型

本项目由debtirthasaha在GitHub发布（链接：https://github.com/debtirthasaha/math-slm），展示了如何在8张H100 GPU上仅用3.5小时完成DeepSeek-R1-Distill-Qwen-7B的数学推理能力微调。核心策略为SFT（监督微调）+DPO（直接偏好优化）+LoRA（低秩适配）组合，为资源受限场景下的模型训练提供高效方案。

数学推理是大型语言模型的核心能力挑战之一。闭源模型如GPT-4、Claude表现出色，但开源社区需探索小模型在有限资源下的高效路径。DeepSeek-R1-Distill-Qwen-7B虽具强推理能力，但传统全参数微调成本高、硬件要求苛刻。本项目旨在通过组合策略，在保持性能前提下显著降低训练成本。

1. LoRA：应用于注意力层投影矩阵，保持原模型权重不变，仅训练少量低秩矩阵，大幅减少参数量与计算开销；2. SFT：使用高质量数学指令数据集，让模型学习标准解题步骤与逻辑链条；3. DPO：直接从偏好数据学习，简化流程，提升输出准确性与可读性。

1. 分布式并行：结合数据并行（各GPU处理不同批次）与模型并行（解决单卡显存限制），充分利用8张H100；2. 混合精度训练：采用FP16/BF16减少显存占用与计算时间，配合梯度累积平衡批次大小；3. 高效数据处理：优化tokenization与批处理，最小化I/O等待，确保GPU饱和计算。

训练完成的模型已发布于Hugging Face（MR0b0t/math-slm-sft-dpo-v5）。虽无详细基准分数，但预期表现：基础算术/代数能准确执行多步计算；几何/概率可转化自然语言为表达式并应用定理；复杂推理能生成step-by-step过程，具可解释性。

• 研究者/开发者：可复现的高效训练模板，可扩展至更大模型或其他推理领域；- 资源受限团队：证明低资源可训练竞争力专用模型；- 教育科技：适用于智能辅导、自动批改、个性化推荐，准确性与一致性更优。

局限：领域专一性（仅数学推理）、规模限制（7B难处理高级数学）、数据依赖性（未披露数据来源与筛选）；未来：扩展至更大模型（14B/32B）、覆盖更多数学领域（高等/竞赛数学）、探索更高效算法（QLoRA/DoRA等）。