LLM Serving Mastery：从使用者到基础设施工程师的完整学习路线图

LLM Serving Mastery 核心导读

本开源课程由 rushikesh-cloud 维护，发布于 GitHub（链接），发布时间为2026年8月9日。课程目标是帮助开发者从LLM使用者成长为LLM基础设施工程师，涵盖模型部署、推理优化、后训练等十大核心技能。

课程设计采用「边做边学」理念，包含26周核心内容+24周专业深化，每周投入约12-15小时，兼顾深度与在职开发者的学习节奏。

背景与问题

随着LLM快速普及，多数教程停留在API调用或Prompt编写层面。但当开发者需要将LLM部署到生产环境、处理高并发请求、优化推理成本时，往往发现知识储备不足。LLM Serving Mastery项目正是为填补这一空白而生，教你从第一性原理理解、部署、优化生产级LLM基础设施。

课程结构与学习方法

课程分解为十大递进式技能模块：基础原理、推理与服务、模型生命周期、压缩与优化、后训练数据工程、后训练、平台与Kubernetes、评估与可观测性、安全与治理、专业深化。

模块间存在依赖关系（如基础原理→推理与服务→模型生命周期等），部分模块可并行学习。每个模块包含理论讲解与动手实践，核心内容26周+专业深化24周，每周12-15小时投入。

课程的独特之处

1. 聚焦基础设施而非应用层：区别于多数教LangChain构建应用的课程，本课程专注LLM在GPU上的高效运行（更快、更省、更稳）。
2. 开源模型优先：围绕Llama、Qwen、DeepSeek等开源模型展开，不依赖闭源API，让学习者完全掌控技术栈。
3. 可执行设计：每个模块配有代码仓库和实验环境，强调动手实践而非被动学习。
4. 社区驱动：作为开源项目，内容持续更新，贡献者可提交改进建议、补充案例。

目标受众与资源

适合人群：后端工程师（扩展AI infra技能）、ML工程师（补全部署运维知识）、技术负责人（评估规划LLM技术栈）、研究者（成果转化为可部署系统）。

配套资源：官方网站rushikesh-cloud.github.io/llm-serving-mastery，包含详细学习路径文档、代码仓库、实验指南及社区讨论区。

结语

LLM技术快速演进，但底层基础设施原理相对稳定。掌握这些原理，不仅能在当前技术浪潮中保持竞争力，更能适应未来技术变革。

LLM Serving Mastery提供的是从「AI应用开发者」到「AI基础设施工程师」的转型路线图。若你厌倦停留在API调用层面，希望深入掌控LLM完整技术栈，本项目值得投入时间与精力。