AI Stack：面向欧盟合规场景的一站式私有化AI部署方案

本文介绍ai-stack项目，这是一个面向欧盟监管要求的私有化AI推理与工具栈，通过单一Helm Chart实现Open WebUI、Ollama、Qdrant、LangGraph等组件的统合部署，支持会话式AI、RAG检索和Agentic工作流。

• 原作者/维护者：rmednitzer
• 来源平台：github
• 原始标题：ai-stack
• 原始链接：https://github.com/rmednitzer/ai-stack
• 来源发布时间/更新时间：2026-06-04T07:43:56Z

原作者与来源

• 原作者/维护者：rmednitzer
• 来源平台：github
• 原始标题：ai-stack
• 原始链接：https://github.com/rmednitzer/ai-stack
• 来源发布时间/更新时间：2026-06-04T07:43:56Z 原作者与来源\n\n- 原作者/维护者：rmednitzer\n- 来源平台：GitHub\n- 原始标题：ai-stack\n- 原始链接：https://github.com/rmednitzer/ai-stack\n- 发布时间：2026年6月4日\n\n---\n\n项目概述\n\nai-stack是一个专为欧盟监管环境设计的私有化AI推理与工具栈，通过单一Helm Chart将多个关键组件整合为完整的AI平台。该项目面向需要在本地或混合云环境中部署AI基础设施的组织，特别关注了数据主权、合规性和治理即代码（Governance-as-Code）的要求。\n\n核心组件包括：\n- Open WebUI：提供聊天界面、Pipeline和RAG功能\n- Ollama：本地LLM推理和嵌入模型服务\n- Qdrant：向量数据库，支持混合搜索\n- LangGraph / Pydantic AI：Agentic运行时，支持状态化智能体\n- PostgreSQL：检查点和长期存储\n- Authelia：OIDC/SSO/MFA统一身份认证\n- OpenTelemetry Collector：可观测性采集与PII脱敏\n\n---\n\n架构设计理念\n\n分层架构模型\n\nai-stack采用七层逻辑架构，所有组件通过单一入口暴露，体现了生产环境的最佳实践：\n\nT0层（安全/完整性层）：\n- OpenTelemetry Collector：负责可观测性数据采集和PII脱敏\n- Authelia：提供OIDC认证、多因素认证和会话管理\n\nT1层（核心业务层）：\n- Open WebUI：用户交互界面，支持对话和RAG\n- Ollama：本地模型推理服务\n- Qdrant：向量检索引擎\n- LangGraph / Pydantic AI：Agentic工作流运行时\n\nT2层（支撑服务层）：\n- Apache Tika：文档提取和OCR\n- SearXNG：网络搜索聚合\n- Valkey：缓存、会话和消息流\n- PostgreSQL：持久化存储\n- MCPO：MCP协议到OpenAPI的网关\n- Ingestion Worker：异步文档处理\n\n双核心工作流\n\n会话式+RAG工作流：\n\n用户通过Open WebUI与AI交互，系统支持多种推理后端（本地Ollama或外部API）。当需要检索增强时，Qdrant提供语义搜索能力，SearXNG作为网络搜索回退。MCPO网关将任意MCP服务器暴露为OpenAPI工具，实现工具生态的无缝集成。\n\nAgentic工作流：\n\nLangGraph或Pydantic AI运行状态化、长时程智能体任务。PostgreSQL作为检查点和存储后端，Qdrant提供语义记忆能力。异步文档摄取通过Valkey Streams解耦，确保请求路径非阻塞。\n\n---\n\n关键技术特性\n\n统一的模型抽象\n\nai-stack的核心设计原则之一是"单一模型抽象"。无论是本地Ollama、外部托管API还是Agentic运行时（LangGraph），都通过OpenAI兼容的接口暴露。这使得Open WebUI可以从模型选择器中路由到任意后端，无需定制适配器。\n\nMCP作为通用工具层\n\nMCPO（MCP to OpenAPI）作为单一工具网关，被Open WebUI和LangGraph共享。这意味着一次编写的工具（文件系统、搜索、沙箱shell、内部API）可同时被聊天界面和智能体使用，实现工具生态的最大化复用。\n\n持久化Agent状态\n\nLangGraph使用PostgreSQL作为检查点和长期存储，语义记忆存储在Qdrant中。生产环境推荐使用CloudNativePG实现高可用和PITR（时间点恢复）。\n\n异步摄取解耦\n\n文档上传后立即返回，Ingestion Worker通过Valkey Streams执行提取→嵌入→索引的流程，支持重试和状态跟踪，确保请求路径始终保持低延迟。\n\n纵深防御\n\n- Authelia在边缘层提供OIDC/MFA保护\n- NetworkPolicy默认拒绝，按组件细粒度控制\n- OpenTelemetry Collector在遥测数据离开集群前执行PII脱敏\n\n---\n\n部署与使用\n\n前置要求\n\n- Kubernetes 1.27+\n- Helm 3.12+\n- 支持PersistentVolumeClaim的StorageClass\n- （可选）NVIDIA GPU Operator用于Ollama GPU加速\n- （可选）CloudNativePG operator用于高可用PostgreSQL\n\n快速开始\n\nbash\n实验室环境默认安装\nhelm install ai-stack . -n ai-stack --create-namespace\n\n启用GPU加速\nhelm install ai-stack . -n ai-stack --create-namespace \\\n --set ollama.gpu.enabled=true\n\n生产环境覆盖\nhelm install ai-stack . -n ai-stack --create-namespace \\\n -f values.yaml -f values-prod.yaml\n\n\n---\n\n适用场景与价值\n\nai-stack特别适合以下场景：\n\n1. 欧盟数据合规要求：满足GDPR等法规对数据主权和处理透明度的要求\n2. 私有化AI部署：需要在本地或专属云环境运行AI工作负载\n3. 多团队协作：通过统一的平台支持对话式AI、RAG和Agentic工作流\n4. 治理即代码：通过GitOps方式管理AI基础设施配置和策略\n\n该项目的价值在于将分散的开源组件整合为经过安全加固、生产就绪的统一平台，降低了企业构建私有化AI基础设施的复杂度和风险。\n\n---\n\n总结\n\nai-stack代表了当前开源AI基础设施整合的一个重要方向：在保持组件灵活性的同时，提供符合企业安全和合规要求的统一平台。其分层架构、双工作流设计和纵深防御策略，为同类项目提供了可借鉴的参考模式。对于需要在受监管环境中部署AI的组织而言，这是一个值得关注和评估的解决方案。