# 从零开始部署私有LLM：一份完整的GPU云服务器实战指南

> 本文详细介绍如何使用Terraform和GitHub Actions在AWS上自动部署完整的LLM服务栈，包括Ollama推理引擎、Open WebUI聊天界面、多引擎TTS语音合成以及实时监控系统。

- 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo)
- 发布时间: 2026-06-08T11:42:15.000Z
- 最近活动: 2026-06-08T11:52:42.565Z
- 热度: 159.8
- 关键词: LLM, 私有化部署, GPU, AWS, Terraform, Ollama, TTS, 语音合成
- 页面链接: https://www.zingnex.cn/forum/thread/llm-gpu-5e4080df
- Canonical: https://www.zingnex.cn/forum/thread/llm-gpu-5e4080df
- Markdown 来源: ingested_event

---

## 原作者与来源

- **原作者/维护者**: carlosacchi
- **来源平台**: GitHub
- **原始标题**: self-hosted-llm-guide
- **原始链接**: https://github.com/carlosacchi/self-hosted-llm-guide
- **发布时间**: 2026年6月

---

## 为什么需要私有化部署LLM？

随着大型语言模型（LLM）技术的快速发展，越来越多的开发者和企业开始考虑将AI能力部署到自己的基础设施上。私有化部署不仅能解决数据隐私和合规性问题，还能提供更低的推理延迟和更灵活的模型定制能力。然而，从零开始搭建一套完整的LLM服务栈涉及GPU驱动安装、CUDA配置、容器化部署、网络配置等多个复杂环节，对于初学者来说门槛较高。

本文介绍的self-hosted-llm-guide项目提供了一套完整的自动化解决方案，通过Terraform基础设施即代码和GitHub Actions工作流，实现了一键部署包含LLM推理、Web界面、语音合成和监控系统的完整技术栈。

---

## 技术架构全景

这套部署方案构建了一个功能丰富的AI服务环境，核心组件包括：

### LLM推理层
- **Ollama**: 作为底层推理引擎，负责模型加载和文本生成
- **Open WebUI**: 提供类似ChatGPT的友好聊天界面，支持多模型切换和对话历史管理

### 语音合成层
项目集成了三种TTS引擎，覆盖不同应用场景：

| 引擎 | 语音数量 | GPU需求 | 最佳场景 |
|------|---------|---------|---------|
| Kokoro | 9种预设 | 可选 | 快速、低延迟响应 |
| XTTS-v2 | 21种+语音克隆 | 必需 | 多语言、情感表达 |
| Piper | 英语+意大利语 | 无需 | 超轻量级、CPU运行 |
| VibeVoice | 多说话人对话合成 | 必需 | 长文本、播客风格 |

### 监控与运维
- **Netdata**: 实时系统监控面板，展示GPU利用率、CPU、内存、磁盘和网络状态
- **自动关机调度**: EventBridge定时任务，每晚自动停止实例以节省成本

---

## 基础设施设计

### 网络架构
部署在AWS的专用VPC网络中（10.42.0.0/16），包含公有子网、互联网网关和路由表。安全组实施严格的入站访问控制，仅允许来自用户IP的流量访问以下端口：

- 3000/tcp — Open WebUI聊天界面
- 7860/tcp — Gradio TTS语音合成界面
- 7861/tcp — VibeVoice实时语音界面
- 11434/tcp — Ollama REST API接口
- 19999/tcp — Netdata监控面板
- 22/tcp — SSH（可选，仅在配置密钥对时开放）

### 计算资源配置
项目支持AWS G5系列GPU实例，从入门级的g5.xlarge（4核16GB内存+1×250GB NVMe）到企业级的g5.48xlarge（192核768GB内存+8×3800GB NVMe）。对于个人开发和小型团队，g5.xlarge或g5.2xlarge已能流畅运行7B-13B参数的模型。

### 区域选择建议
项目支持4个AWS区域：
- **us-east-2（俄亥俄）**: 通常价格最低
- **eu-west-1（爱尔兰）**: 欧盟区域中最经济的选择
- **eu-central-1（法兰克福）**: 默认区域，延迟较低
- **eu-north-1（斯德哥尔摩）**: 欧盟替代选项

---

## 部署流程详解

### 准备工作
部署前需要准备以下资源：

1. **AWS凭证**: 具有EC2、VPC、IAM、S3、EventBridge权限的访问密钥
2. **Terraform状态存储**: 用于保存基础设施状态的S3存储桶
3. **公网IP地址**: 用于配置安全组白名单
4. **EC2密钥对**（可选）: 如需SSH访问则创建，否则完全通过Web界面管理

### 自动化部署
通过GitHub Actions工作流触发部署：

1. 进入Actions → Manage GPU VM → Run workflow
2. 配置参数：
   - action: apply（创建）或destroy（销毁）
   - instance_type: g5实例规格
   - aws_region: 目标区域
   - ipv4_allowed: 你的公网IP
   - root_volume_size: 根卷大小（建议200GB以上）
   - key_pair_name: EC2密钥对名称（可选）

### 启动流程
Terraform创建实例后，cloud-init自动执行以下初始化：

```
user-data.sh
├── 从S3下载部署脚本
├── bootstrap_all.sh
│   ├── 安装Netdata监控系统
│   ├── 部署Docker + NVIDIA容器工具包
│   ├── 启动Ollama和Open WebUI
│   ├── 配置Python虚拟环境
│   ├── 安装Kokoro、XTTS-v2、Piper TTS引擎
│   └── 部署VibeVoice服务
```

整个初始化过程约需15-25分钟，期间会自动下载大型Python包和AI模型。完成后，用户可通过弹性IP访问各项服务。

---

## 成本优化策略

GPU实例的按需价格较高，项目内置了多项成本优化机制：

1. **自动关机**: EventBridge调度器每晚1点（欧洲/阿姆斯特丹时区）自动停止实例
2. **弹性IP保留**: 停止期间保留弹性IP，避免重新配置DNS
3. **按需销毁**: 使用destroy动作完全删除资源，仅保留EBS快照时产生存储费用

以g5.xlarge为例，美国东部区域按需价格约1.006美元/小时。配合自动关机策略，每天运行8小时的月成本约240美元，相比24小时运行的720美元可节省66%。

---

## 使用场景与扩展建议

### 适用场景
- **开发测试**: 快速验证模型性能和提示词效果
- **私有知识库**: 基于本地文档构建RAG问答系统
- **语音应用开发**: 测试不同TTS引擎的音质和延迟
- **AI原型验证**: 为产品概念验证提供完整技术栈

### 扩展方向
- **模型定制**: 通过Ollama导入微调后的私有模型
- **多用户支持**: Open WebUI支持多用户和权限管理
- **API集成**: 通过Ollama REST API将LLM能力集成到现有应用
- **持续集成**: 扩展GitHub Actions实现模型自动更新和A/B测试

---

## 总结

self-hosted-llm-guide项目将复杂的LLM私有化部署流程封装为可复用的基础设施代码，大大降低了技术门槛。通过Terraform的状态管理和GitHub Actions的自动化能力，开发团队可以在数分钟内启动完整的AI服务环境，并在不需要时快速销毁以控制成本。对于希望掌握LLM部署技术或需要临时GPU环境的开发者来说，这是一个极佳的入门和实验平台。