IronCore：从零构建个人LLM训练框架的完整实践

IronCore是由haanjack维护的个人项目，专为个人开发者设计的端到端大语言模型训练框架，支持从预训练到对齐的完整流程。该框架基于YAML配置，保留工业级核心功能（如分布式训练、并行策略、对齐方法）的同时降低复杂度，使开发者能在有限资源（如双RTX 3090）上完成实验，旨在帮助开发者深入理解LLM训练内部机制。

当前多数LLM开发者处于"使用者"角色，缺乏对完整训练流程的理解。IronCore诞生旨在填补这一空白，定位为学习和实验的个人项目，灵感来源于NVIDIA Megatron-LM和HuggingFace Transformers，注重简洁性与可理解性，支持个人在有限硬件上完成端到端训练。

多阶段训练支持

内置四种训练模式：预训练（流式处理语料）、监督微调（SFT）、直接偏好优化（DPO）、组相对策略优化（GRPO），可在同一框架完成全生命周期训练。

并行策略

实现张量并行（TP）、数据并行（DP）、专家并行（EP）、完全分片数据并行（FSDP），支持组合使用以适配不同硬件场景。

MoE架构

内置混合专家架构支持，含负载均衡损失、Z-loss及专家并行策略，确保稀疏激活高效计算。

LoRA实现

提供与张量并行兼容的LoRA，仅训练少量低秩矩阵适配下游任务，解决TP模式下梯度计算与参数更新的正确性问题。

优化器

引入Muon优化器（结合正交化与AdamW），支持ZeRO-1分布式优化器，降低显存占用并提升收敛特性。

GRPO是IronCore特色功能，采用在线学习范式：

• 生成阶段：为每个提示生成多候选回答，利用KV缓存高效生成；
• 评估阶段：通过奖励模型打分，支持数学验证、代码执行等多种奖励后端；
• 优化阶段：计算组内相对优势，通过IS比率裁剪稳定训练，KL惩罚防止偏离参考模型。适合数学推理、代码生成等复杂场景。

数据预处理

支持Fill-in-the-Middle（FIM）技术，采用PSM格式与可配置分割策略，增强代码模型双向理解能力。

统一模型架构

通过TransformerModel接口屏蔽底层差异，支持GPT-2/3、LLaMA等多种模型，特性包括Pre-norm/Post-norm、GQA/MQA/RoPE、多种激活函数，切换架构仅需修改配置。

容器化工作流

推荐使用NGC PyTorch容器，提供Docker脚本支持CUDA/ROCm后端，确保Flash Attention等优化库正确运行。

配置驱动

采用YAML配置定义训练任务（模型、数据、并行策略、优化器等），降低实验管理复杂度。

可观测性

内置MFU计算器监控效率，支持TensorBoard、WandB、MLflow日志后端。

局限

当前版本不支持滑动窗口注意力、多模态输入及编码器-解码器架构，聚焦解码器-only模型核心流程。

总结

IronCore展示了个人维护的开源模式，为开发者提供参与LLM训练的机会。对中文开发者而言，证明消费级硬件完成端到端训练的可行性，是学习、研究或小型实验的理想平台。