LLM推理集群的Kubernetes原生方案：KV感知路由与分片管理

本文介绍基于Kubernetes Operator的LLM推理集群管理系统，通过声明式API与云原生架构解决生产部署中的GPU资源管理、长对话上下文连贯性、弹性扩缩容等挑战。核心特性包括预填充与解码分离、KV缓存感知路由、自动扩缩容及完整可观测性支持。

大语言模型生产级部署面临GPU资源高效管理、长对话上下文连贯、弹性扩缩容等挑战。本系统采用控制平面与数据平面分离的双平面架构：控制平面以CRD为核心，通过Operator管理集群状态；数据平面采用预填充（处理prompt生成KV缓存）与解码（自回归生成token）分离设计，可独立优化扩缩容。

长对话场景中，同一对话请求需访问相同KV缓存。系统通过Operator维护的分片映射（ShardMap，以ConfigMap发布）实现会话亲和性：Router根据conversationId路由到对应Pod，确保同一对话请求始终到持有KV缓存的实例。Pod变化时Operator更新分片映射，Router实时调整策略。

系统支持队列深度、Token吞吐率、KV缓存命中率、GPU内存压力等扩缩容信号。当信号超阈值时，Operator执行流程：计算目标副本数→更新Decode Deployment→等待新Pod就绪→更新分片映射→通知Router。目前用ConfigMap模拟信号，预留真实指标集成接口。

系统集成Prometheus和Grafana，采集多维度指标：Router（请求延迟、成功率、路由分布）、Prefill Worker（批处理大小、计算延迟）、Decode Worker（生成延迟、token吞吐率）。Grafana提供实时QPS、GPU利用率、分片分布等仪表板，支持告警配置。

部署流程简洁，利用云原生工具链：环境需Docker、kubectl、kind等；快速启动步骤包括创建kind集群（执行./hack/kind-create.sh）、加载镜像（./hack/kind-load-images.sh）、安装Operator（./hack/install-kind.sh）、创建推理集群（应用示例CR配置）。验证路由功能可通过端口转发访问Router服务，发送测试请求： curl -X POST localhost:8080/v1/chat/completions
-H 'content-type: application/json'
-d '{"conversationId":"demo-1","messages":[{"role":"user","content":"hi"}]}' 适用场景：多模型/版本共存、长对话需求、精细资源管理、已有K8s运维基础的团队。简单场景建议直接用vLLM/TGI，复杂场景选本方案。