ColorFlow：基于 GKE 的端到端 MLOps 实践项目

ColorFlow是苏黎世应用科技大学（ZHAW）机器学习运维课程的学期项目，旨在展示如何在Google Kubernetes Engine（GKE）上构建端到端的MLOps流水线。项目涵盖MLflow实验跟踪、模型训练、注册与部署，支持本地开发与云端部署无缝切换，核心技术包括GCS FUSE、MLflow代理模式、GKE工作负载身份等，为MLOps实践提供了可复用的架构模板。

ColorFlow项目源于ZHAW机器学习运维课程，旨在解决AI应用开发中模型部署、监控、更新及团队协作的挑战，提供从本地开发到云端部署的完整流程指南，既是学习成果，也是实用的MLOps架构模板。

核心架构组件

• 训练服务（Trainer）：读取数据、执行训练、保存检查点，通过MLflow跟踪参数/指标/模型文件
• MLflow服务：元数据存储与模型注册中心
• 注册任务（Registry Job）：将MLflow中的模型注册为可部署版本
• 模型服务（MLServer）：提供推理API
• 用户界面（UI）：可视化模型管理与测试

双模式设计

• 本地模式：数据存储于storage/mlops-coco（训练数据）、storage/mlops-flow（MLflow产物）、storage/mlops-checkpoints（训练检查点），支持快速迭代
• GKE模式：使用GCS FUSE挂载GCS桶到容器，gs://mlops-flow→/outputs/mlruns，gs://mlops-checkpoints→/outputs/checkpoints，实现本地路径兼容访问

设计遵循“本地优先，云端扩展”的MLOps最佳实践。

GKE部署流程包括：

1. 环境准备：启用Google Cloud的Container、Storage、Artifact Registry API
2. 存储配置：创建GCS桶并配置统一访问权限，为服务账号绑定IAM策略（读写权限）
3. 镜像构建：使用Docker Buildx构建多平台镜像，推送到Artifact Registry，采用时间戳标签避免缓存问题
4. 服务部署：依次部署PostgreSQL（MLflow元数据存储）、MLflow、MLServer、UI，通过Kubernetes Deployment和Service管理
5. 模型推广：通过临时上传Pod将本地产物复制到GCS桶，在集群中注册为新模型版本

项目关键技术创新：

• GCS FUSE集成：将云存储桶挂载为本地文件系统，应用无需修改即可在本地/云端运行，简化维护
• MLflow代理模式：GKE环境中MLflow服务器配置--serve-artifacts，产物操作通过MLflow API完成，客户端无需直接访问GCS
• 工作负载身份：正确配置GKE工作负载身份，Pod以特定服务账号访问云资源，避免硬编码凭证

实用运维技巧：

• 本地访问集群服务：kubectl port-forward
• 本地与Pod间文件复制：kubectl cp
• 监控部署状态：kubectl rollout status
• 实时查看训练日志：kubectl logs -f

故障排除指南包括：修复工作负载身份权限问题、清理Slate（保留集群删除资源）、完全删除集群。

学习价值

ColorFlow展示了：

• Kubernetes上ML工作负载的部署方法
• 可扩展的模型训练与服务架构设计
• 本地到云端的无缝迁移
• MLflow在实验跟踪与模型管理中的应用

总结

ColorFlow以详尽文档和实用设计成为MLOps优秀学习资源，证明清晰架构、完善文档、版本控制和自动化部署等工程实践对ML项目成功的重要性，适合学生、初学者及经验丰富的ML工程师获取有价值见解。