AI Infra Learning：一份 28 个月的 LLM 推理工程师系统化学习路线图

这份开源课程为希望转型或深入AI基础设施领域的工程师提供完整的28个月学习路径，涵盖从GPU架构到分布式推理优化的全栈知识体系，旨在填补AI Infra交叉领域学习路径不清晰、知识点碎片化的空白。

随着大语言模型（LLM）从实验室走向生产环境，AI基础设施（AI Infra）工程师的需求正在爆发式增长。这类工程师需要同时掌握深度学习原理、高性能计算、分布式系统和软件工程，是AI产业中最稀缺的人才类型之一。然而，传统的计算机教育体系和现有的在线课程很少覆盖这一交叉领域。许多有志于进入AI Infra领域的工程师面临学习路径不清晰、知识点碎片化、缺乏实践项目等困境。AI Infra Learning项目正是为了填补这一空白而诞生的。

课程采用"深度优先、广度渐进"的设计理念，规划28个月学习周期，分为四个递进阶段：

第一阶段：基础筑基（1-6个月）

建立底层认知，涵盖GPU架构与CUDA编程、线性代数与数值计算、深度学习基础，配套理论讲解、代码实现和性能分析作业。

第二阶段：推理引擎（7-14个月）

聚焦LLM推理全栈优化，包括模型编译与图优化、算子优化与内核开发、内存管理与KV Cache优化、量化与压缩，需动手实现简化版推理引擎。

第三阶段：分布式系统（15-22个月）

覆盖数据/模型并行、服务编排与调度、推理服务化，作业为搭建多卡并行推理服务集群并压力测试。

第四阶段：生产实战（23-28个月）

整合全栈性能调优、可观测性与调试、成本优化与能效，结业项目需贡献开源推理框架或实现创新优化特性。

课程提供丰富配套资源：

• 推荐书单：标注必读章节的《CUDA C Programming Guide》《Designing Machine Learning Systems》等；
• 论文精读列表：50+核心论文（含Transformer、Megatron-LM、DeepSpeed等）；
• 代码实践仓库：各阶段GitHub模板仓库；
• 讨论社区：Discord频道和GitHub Discussions，定期组织线上读书会。

适合人群：

1. 传统后端工程师（转型AI领域）；
2. 算法工程师（补足工程能力）；
3. 在校学生（AI系统方向）。 先修要求：熟练Python/C++、基本机器学习概念、Linux操作经验，每周投入10-15小时。 与现有资源对比：独特价值在于系统性、实践导向、持续更新；提供6个月快速通道（跳过部分底层原理）。

AI基础设施是需长期积累的专业领域，无捷径可走。AI Infra Learning不仅是课程大纲，更是学习范式示范：从第一性原理出发，通过动手实践验证，形成可迁移的问题解决能力。对有志成为LLM推理工程师的同学，是值得收藏和跟随的路线图。