Alchemyst Cloud Cartographer：GCP上的分布式LLM推理部署方案

本文介绍开源项目Alchemyst Cloud Cartographer，这是一个基于GCP的生产级分布式LLM推理部署方案。项目通过公有/私有子网隔离保障安全，采用Terraform实现基础设施即代码，使用iii框架进行分布式通信，支持Gemma 3 270M模型推理，提供完整的运维测试与扩展路径，为企业和开发者提供安全、可扩展、可维护的LLM云部署参考。

随着开源LLM快速发展，企业部署LLM时面临三大核心挑战：安全性（需网络隔离、访问控制等防护）、可扩展性（应对流量波动且成本合理）、可维护性（需IaC、自动化测试与监控）。该项目正是为解决这些问题而设计的完整参考实现。

项目采用公有-私有子网分层架构：

• 公有子网（10.10.1.0/24）托管网关VM（带公网IP），运行iii框架引擎和调用者进程，对外暴露HTTP API，入站流量经Cloud Armor WAF防护。
• 私有子网（10.10.2.0/24）托管推理VM（无公网IP），运行Gemma 3 270M模型推理进程，出站流量通过Cloud NAT。
• 子网间通过VPC内部WebSocket通信，防火墙严格限制访问。 选用iii框架作为轻量级RPC通信工具，无需复杂编排，以systemd服务运行，支持OpenAI兼容响应格式。安全措施包括Cloud Armor、VPC防火墙、IAP SSH访问、Shielded VM等。

项目基于Terraform实现IaC，模块化设计（network、iam、compute、observability模块），代码可复用。集成CI/CD流水线，自动进行Terraform格式检查、配置验证、静态分析（tflint）和安全扫描（tfsec、checkov），确保变更安全规范。

项目提供多维度测试套件：

• 冒烟测试：端到端API测试验证链路正常；
• 隔离测试：确认推理VM无法直接被互联网访问；
• 混沌测试：杀死推理进程验证systemd自动恢复；
• 负载测试：用k6评估高并发表现。 通过observability模块配置Cloud Monitoring仪表板和告警，监控API延迟、VM资源使用率、iii健康状态等关键指标。

项目月成本约153美元（gateway-vm 13美元、inference-vm98美元、Cloud NAT3美元、Cloud Router36美元等），GCP免费试用额度可覆盖约60天。扩展路径分四阶段：vLLM优化→TensorRT-LLM编译→Triton推理服务器→NVIDIA Dynamo分布式推理，渐进提升性能与吞吐量。

该架构适用于企业内部AI服务、模型评测平台、边缘AI网关、开发测试环境等场景。项目不仅是技术实现，更是生产级LLM部署最佳实践集合，为自建LLM推理能力的团队提供验证起点，帮助将模型能力转化为业务价值。