单卡训练推理模型：mini-grpo实现DeepSeek-R1核心算法

mini-grpo项目以极简代码实现GRPO算法，让研究者和开发者能够在单张GPU上复现DeepSeek-R1的强化学习训练流程。该项目降低了前沿LLM训练技术的资源门槛，便于理解和修改算法，助力社区探索推理模型优化。

从PPO到GRPO的演进

传统LLM强化学习微调依赖PPO算法，但critic网络本身是大型模型，导致显存开销巨大、训练成本高昂。GRPO算法的核心洞察是利用组内相对表现估计优势，无需额外critic网络，大幅降低计算资源需求。

设计哲学

mini-grpo遵循"minimal, hackable"理念，代码库精简、核心逻辑清晰可读。与复杂框架不同，它暴露GRPO本质（数据加载、奖励计算、策略更新等），便于学习者理解原理，研究者快速实验算法变体。

内存优化与训练流程

实现单卡训练的关键技术包括：梯度累积、激活检查点（计算换内存）、8-bit优化器压缩状态。训练流程简化为：生成候选输出→奖励评分→计算组内相对优势→更新策略，无需critic网络，显存需求减半。

实验与场景

项目提供GSM8K数学数据集训练示例，适合提升数学、代码、逻辑推理能力。可在消费级GPU（如RTX4090）上训练数B参数模型，基础模型需具备基本指令遵循和生成能力才能受益。

实验建议

1. 从小规模验证流程正确性；2. 逐步扩大数据规模和训练步数；3. 微调特定任务数据。文档提供学习率、批次大小、生成样本数等超参数选择策略。

项目意义

mini-grpo捕捉GRPO核心机制，帮助理解DeepSeek-R1细节（区别在于数据规模和分布式训练）。它democratize前沿LLM训练技术，让更多开发者能接触强化学习在LLM中的应用，推动知识传播。

局限与未来

省略多GPU分布式、高级监控等生产特性。未来可支持更多RL变体、集成vLLM推理引擎、丰富奖励函数、优化特定任务配置，依赖社区贡献。