# LLMProxy：面向大语言模型的安全网关与智能路由代理 > LLMProxy 是一个专为大型语言模型设计的安全优先代理网关，支持15家主流AI服务商的统一接入，提供六层安全防护、智能成本路由和故障自动转移功能。 - 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo) - 发布时间: 2026-05-14T10:55:51.000Z - 最近活动: 2026-05-14T10:59:31.100Z - 热度: 120.9 - 关键词: LLM, proxy, security, gateway, OpenAI, multi-provider, cost optimization, prompt injection, PII masking, Python, Docker - 页面链接: https://www.zingnex.cn/forum/thread/llmproxy-b4a3da88 - Canonical: https://www.zingnex.cn/forum/thread/llmproxy-b4a3da88 - Markdown 来源: ingested_event --- ## 项目背景与核心定位\n\n随着大型语言模型（LLM）在企业和开发者中的广泛采用，如何安全、高效地管理和路由来自不同供应商的AI请求成为一个关键挑战。LLMProxy 应运而生，它是一个专为LLM设计的安全网关和智能代理，旨在简化多供应商管理的同时提供企业级的安全防护。\n\n该项目由开发者 Fabrizio Salmi 维护，采用 Python 3.12+ 构建，遵循 MIT 开源协议。其核心理念是"安全优先"——在提供便捷的多供应商接入能力之前，首先确保每一个请求都经过严格的安全审查。\n\n## 多供应商统一接入能力\n\nLLMProxy 的最大亮点之一是支持多达15家主流AI服务提供商的统一接入，开发者只需使用 OpenAI 兼容的API格式即可访问所有支持的模型。这些供应商包括：\n\n- **商业云服务**：OpenAI、Anthropic Claude、Google Gemini、Azure OpenAI、xAI Grok、Perplexity、Mistral、DeepSeek\n- **高性能推理平台**：Groq、Together AI、Fireworks AI、SambaNova\n- **开源与本地部署**：Ollama、OpenRouter\n\n这种设计让开发者无需为每个供应商单独编写适配代码，大大降低了多供应商策略的技术门槛。当某个供应商服务不可用时，系统会自动触发故障转移机制，确保业务连续性。\n\n## 六层安全防护体系\n\nLLMProxy 构建了一个纵深防御的安全架构，从请求进入系统到响应返回客户端，每一层都有专门的安全机制：\n\n### 第一层：ASGI字节级防火墙\n系统内置178个注入攻击特征签名，覆盖8种编码层（URL编码、Unicode、Base64、十六进制、ROT13等），并支持迭代链式解码检测。这意味着即使攻击者使用多层编码混淆恶意载荷，防火墙也能识别并拦截。\n\n### 第二层：语义分析引擎\n采用157种模式的三元组Jaccard相似度算法，支持20多种语言的语义分析。系统能够识别leet speak变形、西里尔字母和希腊字母的混淆字符映射，有效防范社会工程学攻击。\n\n### 第三层：威胁评分与轨迹分析\nSecurityShield 模块对请求进行威胁评分（阈值0.7），并支持多轮对话的轨迹分析。通过跨会话的威胁情报聚合（ThreatLedger），系统能够识别来自同一IP或API密钥的异常行为模式。\n\n### 第四层：PII数据脱敏\n支持双模式PII检测：基于微软Presidio NLP的18种实体类型识别，以及自定义正则表达式匹配。敏感信息在请求转发前会被自动脱敏处理，保护用户隐私。\n\n### 第五层：故障关闭认证\n所有管理路径（/api/v1/*、/admin/*、/metrics）默认拒绝访问，除非显式加入白名单。这种"fail-closed"设计确保即使配置错误也不会意外暴露敏感接口。\n\n### 第六层：审计与签名\n系统维护不可变的审计日志账本，所有响应都经过HMAC签名，确保响应完整性和可追溯性。\n\n## 智能成本路由与预算控制\n\n除了安全防护，LLMProxy 还提供了精细化的成本管理能力：\n\n**智能路由算法**：系统使用指数移动平均（EMA）加权公式对端点进行评分：得分 = (成功率² / 延迟) × 成本因子^权重。代理会自动将请求路由到得分最高的端点，同时支持配置故障转移链（例如：GPT-4o失败→Claude Sonnet→Gemini Pro）。\n\n**预算管理**：支持为每个模型配置定价信息（覆盖30+模型），设置每日预算上限，并在预算耗尽时自动降级到本地模型（如Ollama）。系统还提供按会话的消费追踪和成本效益分析。\n\n**A/B测试与金丝雀发布**：内置插件市场支持18种扩展功能，包括预算守卫、A/B路由、模式强制执行、金丝雀检测等，采用环形流水线架构，支持Python或WASM编写自定义插件。\n\n## 部署与使用方式\n\nLLMProxy 提供了极其简洁的部署体验。使用Docker只需一条命令即可启动：\n\n```bash\ndocker run --rm -p 8090:8090 \\\\n -e LLM_PROXY_API_KEYS=sk-proxy-test \\\\n ghcr.io/fabriziosalmi/llmproxy:latest\n```\n\n启动后访问 http://localhost:8090/ui，首次运行向导会引导用户配置第一个供应商（OpenAI、Anthropic、Ollama等）。代理在初始状态下以"onboarding模式"运行，未配置端点前会返回503错误。\n\n对于需要持久化状态（预算追踪、审计日志、已注册端点）的生产环境，建议挂载数据卷并固定版本号：\n\n```bash\ndocker run -d --name llmproxy -p 8090:8090 \\\\n -e LLM_PROXY_API_KEYS=sk-proxy-test \\\\n -e OPENAI_API_KEY=$OPENAI_API_KEY \\\\n -v llmproxy-data:/app/data \\\\n ghcr.io/fabriziosalmi/llmproxy:1.21.46\n```\n\n配置完成后，即可像使用OpenAI官方API一样发送请求：\n\n```bash\ncurl http://localhost:8090/v1/chat/completions \\\\n -H \"Authorization: Bearer sk-proxy-test\" \\\\n -H \"Content-Type: application/json\" \\\\n -d '{\"model\": \"gpt-4o\", \"messages\": [{\"role\": \"user\", \"content\": \"Hello\"}]}'\n```\n\n## 技术架构与扩展性\n\nLLMProxy 采用现代化的ASGI架构，基于FastAPI构建，支持高并发处理。其插件系统采用环形流水线设计，请求依次经过：\n\n1. **Ring 1 - 入口层**：认证、零信任验证、速率限制\n2. **Ring 2 - 预检层**：PII脱敏、预算检查、缓存、复杂度评分\n3. **Ring 3 - 路由层**：模型选择、负载均衡、A/B路由\n4. **上游供应商**：自动格式转换和故障转移链\n5. **Ring 4 - 后检层**：响应清理、质量门控、模式强制\n6. **Ring 5 - 后台层**：遥测、导出、影子流量\n\n这种分层架构使得每个处理阶段都可以独立扩展或替换，开发者可以根据需求插入自定义逻辑。\n\n## 适用场景与价值总结\n\nLLMProxy 特别适合以下场景：\n\n- **企业AI网关**：需要统一管理和审计多个部门对LLM的调用\n- **多供应商策略**：希望避免单一供应商锁定，同时降低故障风险\n- **成本优化**：需要精细控制AI调用成本并自动选择性价比最高的模型\n- **安全合规**：对AI输入输出的安全性有严格要求，需要防范提示注入和数据泄露\n\n该项目目前拥有1183个测试用例，代码覆盖率达到67%，持续集成工作流确保代码质量。对于正在构建生产级LLM应用的团队来说，LLMProxy 提供了一个开箱即用、安全可控的基础设施层。