# AI Stack：面向欧盟合规场景的一站式私有化AI部署方案

> 本文介绍ai-stack项目，这是一个面向欧盟监管要求的私有化AI推理与工具栈，通过单一Helm Chart实现Open WebUI、Ollama、Qdrant、LangGraph等组件的统合部署，支持会话式AI、RAG检索和Agentic工作流。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-06-04T07:43:56.000Z
- 最近活动: 2026-06-04T07:51:13.261Z
- 热度: 118.9
- 关键词: AI Stack, Helm Chart, Open WebUI, Ollama, Qdrant, LangGraph, 私有化部署, 欧盟合规, Agentic工作流, RAG
- 页面链接: https://www.zingnex.cn/forum/thread/ai-stack-ai
- Canonical: https://www.zingnex.cn/forum/thread/ai-stack-ai
- Markdown 来源: ingested_event

---

## 原作者与来源

- 原作者/维护者：rmednitzer
- 来源平台：github
- 原始标题：ai-stack
- 原始链接：https://github.com/rmednitzer/ai-stack
- 来源发布时间/更新时间：2026-06-04T07:43:56Z

## 原作者与来源\n\n- **原作者/维护者**：rmednitzer\n- **来源平台**：GitHub\n- **原始标题**：ai-stack\n- **原始链接**：https://github.com/rmednitzer/ai-stack\n- **发布时间**：2026年6月4日\n\n---\n\n## 项目概述\n\nai-stack是一个专为欧盟监管环境设计的私有化AI推理与工具栈，通过单一Helm Chart将多个关键组件整合为完整的AI平台。该项目面向需要在本地或混合云环境中部署AI基础设施的组织，特别关注了数据主权、合规性和治理即代码（Governance-as-Code）的要求。\n\n核心组件包括：\n- **Open WebUI**：提供聊天界面、Pipeline和RAG功能\n- **Ollama**：本地LLM推理和嵌入模型服务\n- **Qdrant**：向量数据库，支持混合搜索\n- **LangGraph / Pydantic AI**：Agentic运行时，支持状态化智能体\n- **PostgreSQL**：检查点和长期存储\n- **Authelia**：OIDC/SSO/MFA统一身份认证\n- **OpenTelemetry Collector**：可观测性采集与PII脱敏\n\n---\n\n## 架构设计理念\n\n### 分层架构模型\n\nai-stack采用七层逻辑架构，所有组件通过单一入口暴露，体现了生产环境的最佳实践：\n\n**T0层（安全/完整性层）**：\n- OpenTelemetry Collector：负责可观测性数据采集和PII脱敏\n- Authelia：提供OIDC认证、多因素认证和会话管理\n\n**T1层（核心业务层）**：\n- Open WebUI：用户交互界面，支持对话和RAG\n- Ollama：本地模型推理服务\n- Qdrant：向量检索引擎\n- LangGraph / Pydantic AI：Agentic工作流运行时\n\n**T2层（支撑服务层）**：\n- Apache Tika：文档提取和OCR\n- SearXNG：网络搜索聚合\n- Valkey：缓存、会话和消息流\n- PostgreSQL：持久化存储\n- MCPO：MCP协议到OpenAPI的网关\n- Ingestion Worker：异步文档处理\n\n### 双核心工作流\n\n**会话式+RAG工作流**：\n\n用户通过Open WebUI与AI交互，系统支持多种推理后端（本地Ollama或外部API）。当需要检索增强时，Qdrant提供语义搜索能力，SearXNG作为网络搜索回退。MCPO网关将任意MCP服务器暴露为OpenAPI工具，实现工具生态的无缝集成。\n\n**Agentic工作流**：\n\nLangGraph或Pydantic AI运行状态化、长时程智能体任务。PostgreSQL作为检查点和存储后端，Qdrant提供语义记忆能力。异步文档摄取通过Valkey Streams解耦，确保请求路径非阻塞。\n\n---\n\n## 关键技术特性\n\n### 统一的模型抽象\n\nai-stack的核心设计原则之一是"单一模型抽象"。无论是本地Ollama、外部托管API还是Agentic运行时（LangGraph），都通过OpenAI兼容的接口暴露。这使得Open WebUI可以从模型选择器中路由到任意后端，无需定制适配器。\n\n### MCP作为通用工具层\n\nMCPO（MCP to OpenAPI）作为单一工具网关，被Open WebUI和LangGraph共享。这意味着一次编写的工具（文件系统、搜索、沙箱shell、内部API）可同时被聊天界面和智能体使用，实现工具生态的最大化复用。\n\n### 持久化Agent状态\n\nLangGraph使用PostgreSQL作为检查点和长期存储，语义记忆存储在Qdrant中。生产环境推荐使用CloudNativePG实现高可用和PITR（时间点恢复）。\n\n### 异步摄取解耦\n\n文档上传后立即返回，Ingestion Worker通过Valkey Streams执行提取→嵌入→索引的流程，支持重试和状态跟踪，确保请求路径始终保持低延迟。\n\n### 纵深防御\n\n- Authelia在边缘层提供OIDC/MFA保护\n- NetworkPolicy默认拒绝，按组件细粒度控制\n- OpenTelemetry Collector在遥测数据离开集群前执行PII脱敏\n\n---\n\n## 部署与使用\n\n### 前置要求\n\n- Kubernetes 1.27+\n- Helm 3.12+\n- 支持PersistentVolumeClaim的StorageClass\n- （可选）NVIDIA GPU Operator用于Ollama GPU加速\n- （可选）CloudNativePG operator用于高可用PostgreSQL\n\n### 快速开始\n\n```bash\n# 实验室环境默认安装\nhelm install ai-stack . -n ai-stack --create-namespace\n\n# 启用GPU加速\nhelm install ai-stack . -n ai-stack --create-namespace \\\n  --set ollama.gpu.enabled=true\n\n# 生产环境覆盖\nhelm install ai-stack . -n ai-stack --create-namespace \\\n  -f values.yaml -f values-prod.yaml\n```\n\n---\n\n## 适用场景与价值\n\nai-stack特别适合以下场景：\n\n1. **欧盟数据合规要求**：满足GDPR等法规对数据主权和处理透明度的要求\n2. **私有化AI部署**：需要在本地或专属云环境运行AI工作负载\n3. **多团队协作**：通过统一的平台支持对话式AI、RAG和Agentic工作流\n4. **治理即代码**：通过GitOps方式管理AI基础设施配置和策略\n\n该项目的价值在于将分散的开源组件整合为经过安全加固、生产就绪的统一平台，降低了企业构建私有化AI基础设施的复杂度和风险。\n\n---\n\n## 总结\n\nai-stack代表了当前开源AI基础设施整合的一个重要方向：在保持组件灵活性的同时，提供符合企业安全和合规要求的统一平台。其分层架构、双工作流设计和纵深防御策略，为同类项目提供了可借鉴的参考模式。对于需要在受监管环境中部署AI的组织而言，这是一个值得关注和评估的解决方案。