AWS分布式LLM推理系统：安全多虚拟机架构实践

介绍一个基于AWS的分布式大语言模型推理系统，核心采用私有子网Python ML工作节点、公共子网Bun API网关和iii RPC编排，实现安全高效的多虚拟机LLM服务部署。原作者/维护者为daschinmoy21，项目来源为GitHub（链接：https://github.com/daschinmoy21/infra），发布时间2026-05-26T15:08:14Z。

随着大语言模型（LLM）应用场景的扩展，如何在生产环境中安全、高效地部署推理服务成为关键挑战。传统的单节点部署方式难以满足高可用、高并发的需求，而简单的多节点扩展又带来了网络安全和运维管理的复杂性。本项目展示了一种基于AWS的分布式LLM推理架构，核心设计理念是"安全隔离、灵活编排"。系统采用多虚拟机架构，将模型推理工作负载部署在私有子网中隔离保护，通过公共子网的API网关对外提供服务，并使用iii编排工具实现RPC通信和任务调度。

网络拓扑

系统采用经典的公有-私有子网分层架构： 公共子网（Public Subnet）：部署Bun运行时构建的API网关服务，是系统唯一对外入口，拥有公网IP。 私有子网（Private Subnet）：部署Python ML工作节点运行Gemma-3模型推理，无公网IP，仅通过内部路由通信。 VPC网络：专用AWS VPC，通过安全组和ACL细粒度控制访问。

组件职责划分

Bun API网关：接收验证请求、分发任务、聚合结果等； Python ML工作节点：加载模型、执行推理、管理缓存； iii编排工具：服务发现、RPC通信、任务调度与故障转移。

网络隔离

将ML工作节点置于私有子网，最小化攻击面、防护数据泄露、支持合规要求。

访问控制

安全组：公共子网仅开放HTTPS端口，私有子网仅接受公共子网流量； IAM角色：分配最小权限角色； API认证：实施API Key/JWT验证、请求签名、IP白名单。

数据保护

传输加密（TLS）、静态加密（S3+KMS）、审计日志记录。

基础设施即代码

使用Terraform管理AWS资源，包括VPC、计算资源、安全设置等，实现标准化部署。

容器化部署

工作节点和网关容器化，Docker打包，ECR存储镜像。

配置管理

提供多环境配置文件（开发/生产/iii工作节点）。

监控与告警

可集成CloudWatch（指标日志）、X-Ray（分布式追踪）、SNS（告警通知），监控关键指标如延迟、吞吐量等。

为什么选择Bun而非Node.js？

性能优（启动快、内存低）、内置功能多（TypeScript/JSX支持）、标准兼容。

为什么选择iii而非Kubernetes？

简单轻量、资源占用低、原生RPC机制适合两层架构。

为什么选择Gemma-3？

开源许可、硬件友好、性能平衡、生态支持。

实践启示

安全优先、分层架构、适度技术选型、基础设施即代码。

局限与改进空间

高可用性（多可用区部署）、持久化存储、流式响应、多模型支持待优化。

本项目展示了一个完整的AWS分布式LLM推理系统架构，从网络隔离、安全设计到组件选型都体现了生产环境的考量。对于希望将LLM服务从原型推向生产的团队而言，这是一个值得参考的实现方案。项目的价值不仅在于技术实现本身，更在于其架构决策背后的思考——如何在安全、性能、成本和复杂度之间取得平衡。这些经验对于任何规模的生产部署都具有参考价值。