从零开始部署私有LLM：一份完整的GPU云服务器实战指南

本文详细介绍如何使用Terraform和GitHub Actions在AWS上自动部署完整的LLM服务栈，包括Ollama推理引擎、Open WebUI聊天界面、多引擎TTS语音合成以及实时监控系统。

• 原作者/维护者: carlosacchi
• 来源平台: GitHub
• 原始标题: self-hosted-llm-guide
• 原始链接: https://github.com/carlosacchi/self-hosted-llm-guide
• 发布时间: 2026年6月

---

随着大型语言模型（LLM）技术的快速发展，越来越多的开发者和企业开始考虑将AI能力部署到自己的基础设施上。私有化部署不仅能解决数据隐私和合规性问题，还能提供更低的推理延迟和更灵活的模型定制能力。然而，从零开始搭建一套完整的LLM服务栈涉及GPU驱动安装、CUDA配置、容器化部署、网络配置等多个复杂环节，对于初学者来说门槛较高。

本文介绍的self-hosted-llm-guide项目提供了一套完整的自动化解决方案，通过Terraform基础设施即代码和GitHub Actions工作流，实现了一键部署包含LLM推理、Web界面、语音合成和监控系统的完整技术栈。

---

这套部署方案构建了一个功能丰富的AI服务环境，核心组件包括：

• Ollama: 作为底层推理引擎，负责模型加载和文本生成
• Open WebUI: 提供类似ChatGPT的友好聊天界面，支持多模型切换和对话历史管理

项目集成了三种TTS引擎，覆盖不同应用场景：

引擎	语音数量	GPU需求	最佳场景
Kokoro	9种预设	可选	快速、低延迟响应
XTTS-v2	21种+语音克隆	必需	多语言、情感表达
Piper	英语+意大利语	无需	超轻量级、CPU运行
VibeVoice	多说话人对话合成	必需	长文本、播客风格

• Netdata: 实时系统监控面板，展示GPU利用率、CPU、内存、磁盘和网络状态
• 自动关机调度: EventBridge定时任务，每晚自动停止实例以节省成本

---

部署在AWS的专用VPC网络中（10.42.0.0/16），包含公有子网、互联网网关和路由表。安全组实施严格的入站访问控制，仅允许来自用户IP的流量访问以下端口：

• 3000/tcp — Open WebUI聊天界面
• 7860/tcp — Gradio TTS语音合成界面
• 7861/tcp — VibeVoice实时语音界面
• 11434/tcp — Ollama REST API接口
• 19999/tcp — Netdata监控面板
• 22/tcp — SSH（可选，仅在配置密钥对时开放）