LLM-D-Lab：OpenShift上自动化部署大模型推理实验环境的完整方案

LLM-D-Lab是专为OpenShift/OKD平台设计的大模型推理实验环境自动化方案，旨在解决企业级大语言模型推理系统高效、可复现部署的挑战。该项目通过GitOps方式自动化配置GPU工作节点池、核心运维组件、可观测性系统和流量控制，提供开箱即用的实验工作负载，目标用户覆盖性能工程师、平台工程师、解决方案架构师及研究人员，目前支持AWS和IBM Cloud两大云平台。

LLM-D-Lab是开源大模型分布式推理项目LLM-D的配套实验环境工具。目标用户包括：需运行LLM-D和OpenShift AI基准测试的性能工程师、构建可扩展LLM服务基础设施的平台工程师/SRE、原型化LLM解决方案的架构师、验证分布式推理引擎的研究人员。项目当前支持AWS和IBM Cloud，计划扩展更多云提供商。

基础设施自动化

通过MachineSet、MachineAutoscaler和ClusterAutoscaler实现GPU节点自动扩缩容，负载变化时弹性调整资源以节省成本。

核心运维组件

• NVIDIA GPU Operator：配置GPU驱动与监控组件
• Node Feature Discovery(NFD)：检测节点硬件特性并标签化
• Descheduler：优化Pod分布
• KEDA：事件驱动的自动扩缩容

网络与API网关

• Gateway API：新一代服务网络API
• Kuadrant：多集群流量管理与API治理
• Authorino：Kubernetes原生认证授权
• cert-manager：自动化TLS证书管理

可观测性系统

• Grafana：监控仪表盘
• NetObserv：eBPF网络流量观测
• LokiStack：日志聚合

实验工作负载

提供KServe LLMInferenceService示例及KV缓存路由配置，支持精确前缀缓存感知实验。

LLM-D-Lab采用GitOps-first方法论，所有配置通过ArgoCD管理，实现声明式基础设施管理。核心优势：

• 版本控制：配置存储于Git仓库，变更历史可追溯
• 可复现性：版本化清单可在不同环境重现一致配置
• 自动化同步：ArgoCD持续监控并同步集群状态
• 审批工作流：结合Git分支与合并请求实现变更审查

项目避免本地脚本，优先使用声明式清单与Kubernetes控制循环，减少工具依赖，提升标准化与可移植性。

以AWS为例的部署流程：

1. 克隆仓库并配置GitOps根应用：修改overlays/aws/root-app.yaml填写集群API标识符、区域等信息，建议fork仓库避免依赖上游状态
2. 填写secrets配置：基于99-*.example.yaml模板创建实际secrets文件
3. 部署根应用：执行oc apply -k overlays/aws/触发ArgoCD创建子应用
4. 等待就绪：通过OpenShift WebUI或命令行查看状态，初始设置需等待节点扩容

注意：初始部署可能耗时较长，尤其是集群扩容时。

LLM-D-Lab设计遵循三大原则：

• 模块化与可扩展性：通过Kustomize overlays机制支持用户定制配置，无需修改核心清单
• 云原生优先：充分利用Kubernetes、OpenShift及Operator模式能力，不依赖平台特定脚本
• 实验导向：提供标准化示例工作负载，让研究人员快速启动实验，减少环境搭建时间

这些原则确保方案的灵活性与实用性。

已知限制

• 卸载支持不完全：OLM管理的Operator需手动清理
• 单节点集群(SNO)注意事项：主节点不托管用户负载，建议提前准备工作节点
• RHOAI和上游LLM-D组件：因兼容性问题需手动部署

未来规划

• 完善IBM Cloud覆盖层
• 支持RWX存储类
• 优化CertManager、Kuadrant和Authorino配置
• 增加更多Grafana仪表盘
• 实现多租户与并发实验管理（Tekton/Kueue）
• 支持HyperShift托管集群与多集群管理
• 提供更多示例工作负载

项目将持续迭代以提升功能覆盖与用户体验。

LLM-D-Lab代表了现代化AI实验环境管理方法：通过GitOps实现基础设施即代码，Operator模式自动化组件生命周期，云原生架构保障可扩展性与可移植性。该方案不仅简化了OpenShift平台上大模型推理实验的环境搭建复杂度，更建立了可复现、可审计、可协作的实验工作流，对相关团队具有重要参考价值。