零成本GPU推理平台：基于KEDA和Kubernetes的弹性LLM服务架构

本文介绍了一个基于Kubernetes和KEDA的生产级GPU推理平台，旨在解决LLM推理的成本困境。该平台通过双层弹性扩缩容架构实现真正的scale-to-zero：空闲时GPU节点和Pod均为零，请求到来时自动唤醒。核心优势包括零闲置成本、自动应对突发流量、生产级可观测性等，为预算有限的团队提供兼顾成本与性能的LLM服务方案。

LLM推理服务面临两难选择：常驻GPU实例导致闲置浪费，完全关闭则需忍受分钟级冷启动延迟。理想方案需满足：无请求时成本归零、请求到来时自动快速扩容、支持突发流量不丢包、具备生产级可观测性与稳定性。

平台采用双层弹性扩缩容：

1. Pod级弹性：通过KEDA根据Redis队列深度自动调整Pod副本数（0到N）；
2. 节点级弹性：利用GKE Cluster Autoscaler根据待调度Pod自动创建/回收GPU节点。

核心组件包括：

• API网关：FastAPI（异步请求接入）；
• 消息队列：Redis（任务缓冲、结果存储）；
• 推理引擎：vLLM（连续批处理、KV缓存）；
• 监控：NVIDIA DCGM exporter（GPU指标）、Grafana（可视化仪表板）等。

请求流程：用户请求→FastAPI入队Redis→KEDA触发Pod扩容→Cluster Autoscaler启动GPU节点→vLLM执行推理→结果返回用户。

冷启动是scale-to-zero的核心挑战，平台通过以下策略优化：

1. 队列缓冲：Redis队列吸收突发流量，避免丢包；
2. 镜像预缓存：GKE Secondary Boot Disk预存容器镜像，减少拉取时间；
3. 模型权重持久化：PVC存储模型权重，避免重复下载。

优化后冷启动时间从9分钟缩短至5分钟（节点启动2分钟+模型加载2分钟+Pod启动30秒）。

GCP环境下成本结构：

• 控制平面：约$0.10/小时（持续）；
• GPU节点（T4 spot）：约$0.15/小时（仅推理时产生）；
• 空闲时：GPU节点成本为零。

对于间歇性负载，相比常驻GPU实例可节省60-90%成本。

本地测试（k3d）：

1. 启动vLLM容器；
2. 创建k3d集群；
3. 安装KEDA；
4. 部署资源；
5. 负载测试（locust）。

GCP生产部署：

1. 运行部署脚本创建GKE集群与GPU节点池；
2. 触发扩容（6+请求）；
3. 监控节点/Pod状态；
4. 完成后销毁资源。

（注：具体命令可参考原项目脚本）

项目总结的最佳实践：

1. 双层弹性（Pod+节点级）是零成本的关键；
2. 队列缓冲解决冷启动流量吸收问题；
3. 多层优化（镜像缓存、模型持久化）控制冷启动时间；
4. vLLM连续批处理提升GPU吞吐量；
5. 完整可观测性是生产部署的必要条件。

该架构为预算有限的团队提供了可靠的LLM推理方案。