三层隐私 AI 架构：在零公网暴露下实现本地与云端智能的安全融合

tri-tier-private-ai是一个自托管的隐私优先AI栈，通过关键词路由机制将敏感提示定向到本地模型，复杂推理任务路由到云端，同时确保零公网暴露。该项目以每月约8-12美元的成本，为个人和小团队提供企业级隐私保护方案，解决了本地模型隐私性与云端模型智能性的两难问题。

在大语言模型应用中，用户面临根本性困境：本地模型保障隐私但牺牲智能；云端API提供强大推理却需托付敏感数据。tri-tier-private-ai提出三层架构智能路由系统，让用户在同一工作流中兼顾本地隐私与云端智能，且自托管成本控制在每月8-12美元左右。

项目核心洞察：不同提示需不同处理级别。敏感内容本地处理，复杂任务云端路由。架构分四层：

• 控制层OpenClaw：编排器与UI，负责任务分发，通过Tailscale私有网络交互，零公网暴露。
• 路由层LiteLLM：开源模型路由代理，基于关键词规则决策提示处理路径，零成本关键组件。
• 私有层Ollama+Gemma4 E4B：本地运行约40亿参数模型（4-bit量化占3.8GB资源），处理日常对话与敏感数据，数据永不离开VPS。
• 智能层Together AI Qwen-2.5-72B：720亿参数模型，128K上下文，支持零数据保留（ZDR），处理非敏感复杂任务。

系统隐私保护核心为router_hook.py定义的关键词拦截逻辑。默认关键词涵盖财务/税务、身份/PII、文档、凭证、医疗、法律、隐私标记等类别（如tax、ssn、password、medical等）。提示提交时，LiteLLM扫描内容：含敏感关键词则重定向到本地Ollama；无则发送到Together AI，实现敏感数据硬阻断。

项目采用多层安全策略：

• 防火墙：UFW默认拒绝入站，仅允许SSH和Tailscale流量。
• 容器隔离：Ollama和LiteLLM绑定127.0.0.1，仅本地回环监听。
• Tailscale私有网络：所有访问通过加密网状网络，内网IP为唯一入口。
• 零数据保留：Together AI账户级ZDR设置，禁用提示存储与训练；系统通过X-Together-No-Store请求头强化保障。

部署流程：需Ubuntu22.04 VPS（至少4GB RAM），安装Docker、Tailscale；配置.env文件（LiteLLM主密钥、Together AI API密钥）；启动服务并拉取Gemma4 E4B模型；配置OpenClaw使用LiteLLM端点，启用Together AI ZDR。 成本：Hetzner CX21 VPS约10美元/月；Together AI输入输出各0.9美元/百万token；开源组件零成本。中等使用量（50万token/月）总成本约10-12美元/月。

测试验证：

• 敏感内容测试：curl请求含"my tax file is private"，日志应显示敏感关键词检测。
• 非敏感测试：请求解释transformer机制，路由到Together AI。 扩展定制：
• 自定义关键词：编辑router_hook.py的PRIVATE_KEYWORDS并重启LiteLLM。
• 更换模型：Ollama支持多种本地模型；LiteLLM支持100+云端提供商。
• 自定义路由逻辑：修改router_hook.py实现复杂策略（如用户身份、请求频率）。

局限：

• 关键词路由非完美，可能漏检或被绕过，高安全场景需更复杂检测。
• 本地模型能力有限，复杂任务仍不及云端大模型。 未来方向：引入智能内容分类模型、多本地模型自动选择、审计日志与合规报告、更友好管理界面。