从零构建生产级LLM推理平台：vLLM-Inference-Lab完整实战指南

AWS资深工程经理Mohamed开源的vLLM-Inference-Lab是一个LLM推理学习实验室，提供从本地Ollama到AWS云端vLLM部署、Prometheus/Grafana监控及自动扩缩容的8个阶段完整实践路径，帮助开发者从零构建生产级LLM推理平台。

LLM技术快速发展下，高效部署扩展推理服务成为工程团队核心挑战。该项目由AWS自动扩缩容团队高级工程经理Mohamed发起，旨在通过动手实践帮助开发者构建完整生产级LLM推理平台。Mohamed职业目标是成为Anthropic云推理工程经理，项目理念为"Build to understand, not to ship"——通过构建深入理解技术原理而非仅追求功能实现。

项目采用渐进式学习路径，将复杂基础设施拆解为可管理阶段：第一阶段从本地Ollama开始，在Apple M4芯片体验基础模型服务；第二阶段迁移到AWS云端，使用g4dn.xlarge Spot实例（约0.16美元/小时）部署vLLM，探索连续批处理、FP8和AWQ量化等技术。渐进式方法让学习者逐步理解从本地原型到生产部署的转化过程，量化技术对比实验可直观感受不同压缩策略对性能和资源占用的影响。

项目核心是八阶段EKS生产平台构建计划：第一阶段搭建基础环境，用Karpenter替代Cluster Autoscaler实现灵活节点扩缩容；第二阶段建立可观测性体系，集成Prometheus、Grafana和NVIDIA DCGM监控GPU利用率、显存占用、推理延迟等指标；第三阶段用KEDA基于自定义指标实现Pod级自动扩缩容并实验准入控制；第四阶段对比扩缩容策略（复合KV触发器、冷启动优化）。

第五阶段引入智能路由与推理优化（缓存感知路由、前缀缓存、投机解码）；第六阶段处理多模型服务（模型打包、分层回退、CUDA检查点/恢复）；第七阶段整合前沿技术：QLM通过输出长度分布预测队列等待时间并优化调度，Mooncake的SLO可行性评估与早期拒绝机制，Learning-to-Rank实现类似SJF调度及老化机制防饥饿，探索失败请求重试策略；第八阶段探索分离式推理架构，将预填充和解码分离到不同实例独立优化。

项目注重LLM推理概念与分布式系统/云计算通用概念映射（如KV缓存类比预热实例池、PagedAttention对应虚拟内存分页、连续批处理比喻城市公交）。关键性能指标包括TTFT、TBT、P99延迟、吞吐量、GPU利用率、队列深度。实践建议："Research before building"原则（每个阶段前充分调研），代码风格要求（注释解释"为什么"、小而专注的文件结构），完成阶段后先自我解释再接受指导。

vLLM-Inference-Lab不仅是技术项目，更是系统化学习框架，将LLM推理拆解为可管理模块，通过渐进式实践帮助开发者建立从理论到生产的完整认知，是希望深入理解LLM推理基础设施工程师的极具价值开源资源。