大模型持续预训练实战：基于PyTorch FSDP的生产级流水线

本项目是面向生产环境的大语言模型持续预训练框架，支持PyTorch FSDP分布式训练，已在Qwen2.5-0.5B上验证通过，提供从数据转换到模型部署的完整工作流。项目由josephGoke维护，源码位于GitHub（链接：https://github.com/josephGoke/llm-continued-pretraining），发布于2026年6月13日。

通用预训练模型缺乏领域专业知识，全量从头预训练成本高，简单微调难以注入大量新知识。持续预训练作为中间路径，在已有模型基础上继续用领域语料预训练，既能保留通用能力，又能吸收领域知识，是构建专业领域大模型的主流方案。

1. PyTorch FSDP分布式训练：采用FULL_SHARD分片策略、CPU卸载、后向预取等配置，降低单卡显存需求；2. 企业级数据管道：支持txt、CSV、PDF、JSON等多种格式转换为JSONL；3. 灵活配置系统：通过YAML管理模型、训练超参数、优化技术（如梯度检查点、BF16混合精度）；4. 完善监控：日志保存、Weights & Biases跟踪、定期验证与断点续训。

项目结构包含config、data、scripts、outputs等目录，主训练脚本为train.py。训练流程：1. 数据准备（转换为JSONL，9:1分割训练/验证集）；2. 下载基础模型（如Qwen2.5-0.5B）；3. 调整配置文件；4. 启动训练（单卡：python train.py；多卡：torchrun --nproc_per_node=4 train.py）；5. 推理测试（inference.py）。

硬件最低要求：Python3.10+、CUDA12.0+、8GB内存、8GB GPU显存；推荐配置：16GB+内存、24GB+GPU显存（7B+模型）。已在Qwen2.5-0.5B（494M参数）上验证通过，单卡可运行，大模型建议多卡分布式训练。

单机多卡命令：torchrun --nproc_per_node=4 train.py；多机多卡命令：torchrun --nproc_per_node=4 --nnodes=2 --node_rank=0 --master_addr=192.168.1.100 --master_port=29500 train.py；支持HuggingFace Accelerate：先accelerate config，再accelerate launch train.py。

断点续训：自动检测最近检查点或手动设置resume_from_checkpoint；每1000步保存检查点，保留最近3个。部署：本地推理用inference.py；上传到HuggingFace Hub需配置push_to_hub=true和hub_model_id。

适用场景：领域知识注入（医疗/法律/金融）、多语言扩展、代码模型训练、企业私有化部署。总结：本项目提供完整生产级框架，涵盖全流程，适合研究人员和企业开发者快速启动领域模型训练。