100天推理工程挑战：从CUDA内核到多云自动扩缩容的系统性学习路径

本项目是基于Philip Kiely《Inference Engineering》构建的系统性学习路径，旨在帮助开发者掌握LLM推理工程全栈技术——从底层CUDA内核优化到上层云原生架构设计。项目以100天渐进式学习为框架，通过可运行脚本与实验，覆盖单GPU优化、多GPU协同、工具与可观测性三大核心层次，最终培养生产级LLM部署能力。其特色在于实践导向（所有实验在DGX Spark集群上验证）与结构化覆盖，为推理工程师提供完整知识体系。

推理工程是横跨CUDA优化、云原生架构等多领域的复杂学科。正如Philip Kiely所言："做好推理需要三个层次：运行时、基础设施和工具"。当前碎片化教程难以构建完整知识体系，因此100 Days of Inference项目应运而生——基于《Inference Engineering》一书，通过系统性学习路径，帮助开发者全面掌握LLM推理工程各层面技能。

项目分为三个阶段：

1. 单GPU优化（Day1-18）：覆盖LLM推理机制、CUDA内核、vLLM/SGLang等框架，以及量化、投机解码等高级技术；
2. 多GPU与基础设施（Day19-27）：包括GPU架构（SM、HBM）、容器化（Docker/NVIDIA NIMs）、自动扩缩容、多云容量管理；
3. 工具与可观测性（Day28-30）：涵盖性能基准测试、监控指标（TTFT/TPOT）、客户端代码设计。

项目提供大量可运行实验，包括：

• 核心实现：从零构建BPE分词器、SDPA注意力机制；
• 量化优化：INT8量化流水线、GPTQ风格舍入；
• 缓存与并行：KV缓存管理器、张量并行模拟；
• 部署实践：Triton自定义CUDA内核、vLLM/SGLang部署基准测试；
• 系统级项目：连续批处理模拟、Dockerfile编写。所有实验帮助学习者将理论转化为实际技能。

项目适合AI基础设施工程师、ML从业者、技术负责人及研究人员。学习价值包括：

• 系统性知识：构建从底层到上层的完整推理工程体系；
• 实践技能：通过可运行代码掌握生产级部署；
• 社区支持：开源项目带来的交流与贡献机会；
• 生产就绪：直接应对实际生产环境中的推理优化问题。

100 Days of Inference代表了AI教育的新模式——系统性、实践性、生产导向。在LLM快速发展的今天，推理工程能力已成为AI基础设施的核心竞争力。项目托管于GitHub，所有代码与文档开源，无论完整跟进100天还是选择模块学习，均可立即开始。100天投入将换来LLM推理全栈的深入理解，值得开发者尝试。