从零到生产：大模型推理工程完整学习路线图

这份路线图面向机器学习工程师，提供从神经网络基础到生产级LLM服务的完整实战学习路径。核心覆盖Transformer架构、KV缓存、量化技术、微调方法（LoRA/QLoRA）及推理优化策略（vLLM/SGLang等），通过项目驱动的方式帮助开发者掌握推理工程核心技能，适用于希望转向推理优化或准备相关岗位面试的人群。

本路线图由ShaoZhi21维护，源自GitHub仓库inference-engineering（发布于2026年6月10日）。设计理念聚焦实战性（每个项目可直接应用于工作）、渐进复杂度（从基础到生产级）、资源灵活性（支持Colab/RunPod等平台）及可选内容（按需取舍），旨在帮助在职工程师在不影响全职工作的前提下系统构建推理工程能力。

路线分为4个核心学习周+第零周基础：

• 第零周：PyTorch基础（MNIST分类器项目，可选量化实验/micrograd实现）；
• 第一周：从零构建GPT与KV缓存（理解Transformer架构，实现KV缓存并对比性能）；
• 第二周：生产级推理优化（vLLM/SGLang部署与基准测试，测试批处理、量化等优化杠杆）；
• 第三周：微调与多LoRA服务（LoRA/QLoRA微调、DPO优化、多LoRA服务部署及评估）。

路线重点覆盖四大关键技术：

1. KV缓存：避免重复计算注意力键值对，将自回归生成复杂度从O(n³)降至O(n²)；
2. 量化技术：FP16→INT8→INT4-AWQ，平衡内存占用、计算成本与模型精度；
3. 连续批处理与PagedAttention：vLLM的分页注意力提升GPU内存利用率，配合连续批处理增加吞吐量；
4. 多LoRA服务：共享基础模型动态加载适配器，实现规模化个性化服务。

每个阶段项目均具岗位相关性：

• MNIST分类器：建立PyTorch基础肌肉记忆；
• nanoGPT+KV缓存：掌握推理核心优化技术；
• vLLM/SGLang基准测试：产出面试说服力强的报告；
• 微调-服务-评估闭环：模拟实际工作流程，展示端到端能力。

为有效学习，建议：

1. 从第零周开始，不跳过基础项目；
2. 重点投入第二周（生产级优化最具岗位相关性）；
3. 完成所有项目，构建可展示的工程作品集；
4. 参与vLLM/SGLang等社区获取支持；
5. 记录学习过程（博客/GitHub），跟踪实验结果与心得。