# Squirrel LLM Gateway：企业级大语言模型统一接入网关 > 一款开源的企业级LLM代理服务，支持OpenAI、Anthropic等多提供商统一接入，具备智能路由、故障转移、成本分析和现代化管理面板。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-04-25T12:39:30.000Z - 最近活动: 2026-04-25T12:53:13.757Z - 热度: 150.8 - 关键词: LLM Gateway, OpenAI, Anthropic, 代理服务, 智能路由, 故障转移, 成本分析, 开源工具 - 页面链接: https://www.zingnex.cn/forum/thread/squirrel-llm-gateway - Canonical: https://www.zingnex.cn/forum/thread/squirrel-llm-gateway - Markdown 来源: ingested_event --- # Squirrel LLM Gateway：企业级大语言模型统一接入网关 ## 背景：多模型时代的接入挑战 随着大语言模型（LLM）技术的快速发展，企业面临的不再是如何使用单一模型，而是如何高效管理多个模型提供商。OpenAI的GPT系列、Anthropic的Claude、以及各类开源模型和本地部署方案，各自拥有不同的API格式、认证方式和定价策略。 对于需要同时对接多个提供商的企业来说，这种碎片化带来了显著的管理复杂性：开发团队需要为每个提供商维护独立的集成代码，运维团队难以统一监控和成本控制，故障时需要手动切换提供商影响业务连续性，且缺乏集中式的访问控制和审计能力。 ## Squirrel LLM Gateway 简介 Squirrel 是一个高性能、生产就绪的LLM代理服务，旨在统一和管理对多个大语言模型提供商的访问。它作为应用程序与LLM服务之间的智能网关，提供无缝故障转移、负载均衡、全面的可观测性和现代化的管理面板。 该项目现已支持OpenAI Responses API，并能在OpenAI Chat、OpenAI Responses和Anthropic Messages之间进行平滑的协议转换。 ## 核心功能特性 ### 统一接入层 Squirrel 最核心的价值在于提供单一集成点：一次接入即可访问多个LLM提供商，兼容OpenAI和Anthropic SDK可作为直接替代品使用，支持将自定义模型名称映射到多个后端提供商实现透明的提供商切换。 ### 智能路由与负载均衡 网关提供多种路由策略适应不同业务场景：轮询策略均匀分配请求，优先级策略优先使用首选提供商并在故障时自动降级，权重策略按自定义比例分配流量，成本策略自动选择价格最低的模型，规则策略基于模型名、请求头、消息内容或token数进行智能路由。 ### 高可用保障 生产环境的关键特性包括：对HTTP 500+错误配置重试次数（默认3次），主提供商失败时无缝切换到备用，可配置请求超时并支持长流式响应（默认30分钟），以及完整的Server-Sent Events (SSE)支持实现实时响应。 ### 协议转换能力 内置的 llm_api_converter 模块支持三种协议间的平滑转换：OpenAI Chat与OpenAI Responses互转、OpenAI Chat与Anthropic Messages互转、OpenAI Responses与Anthropic Messages互转。这意味着你可以用OpenAI SDK调用Claude模型，或用Anthropic SDK调用GPT模型，网关会自动处理协议转换。 ## 可观测性与分析 ### 完整请求追踪 Squirrel 记录每个请求的完整生命周期：请求和响应体完整捕获（包括流式响应），使用tiktoken自动计算token消耗，测量首字节延迟和总响应时间，并按时间、模型、提供商、API key聚合统计信息。 ### 数据脱敏与成本分析 自动对日志中的敏感信息进行脱敏处理确保合规性。内置的成本分析功能帮助企业追踪各模型和提供商的费用支出，识别高成本请求模式，优化模型选择策略。 ## 现代化管理面板 基于 Next.js 16 + TypeScript + shadcn/ui 构建的管理界面提供：提供商管理用于添加、测试、配置LLM提供商连接；模型映射配置提供可视化规则编辑器，定义虚拟模型到实际提供商的映射；API密钥生命周期管理支持生成、启用、禁用、删除API密钥；高级日志查看器支持多维度过滤和搜索；成本统计面板提供使用趋势和费用分析图表。 ## 快速部署 ### Docker Compose（推荐，PostgreSQL） 使用Docker Compose是最快的启动方式：克隆仓库后运行docker compose命令，即可访问管理面板。 ### Docker单容器（SQLite，简单部署） 对于简单部署场景，可以使用单容器模式，通过挂载数据卷持久化数据。 ### 本地开发环境 后端基于Python 3.12+，使用uv或pip安装依赖，通过alembic升级数据库，最后用uvicorn启动服务。前端基于Node.js 18+，安装依赖后可用开发模式或生产构建运行。 ## 配置与使用 ### 添加提供商与创建模型映射 进入Providers页面设置基础URL、添加API密钥、选择协议。然后在Models页面定义虚拟模型名并关联一个或多个实际提供商，设置路由优先级或权重。最后在API Keys页面创建网关API密钥供应用使用。 ### 应用接入示例 应用可以使用标准OpenAI SDK接入，只需将base_url指向网关地址，使用网关生成的API密钥即可。支持chat completions和responses两种API模式。 ## 支持的API端点 网关完整支持OpenAI API：包括模型列表、聊天补全、文本补全、嵌入向量、语音合成、语音识别、语音翻译、图像生成、responses API。同时原生支持Anthropic Messages API。 ## 环境配置 关键环境变量包括：应用名称、调试模式、数据库类型（sqlite或postgresql）、数据库连接字符串、最大重试次数、重试延迟、上游请求超时、API密钥前缀和长度、加密密钥、速率限制开关、管理员凭据、日志保留天数等。 ## 支持的提供商 Squirrel可代理请求到任何OpenAI或Anthropic兼容API，包括OpenAI官方、Azure OpenAI、Anthropic Claude、本地模型（Ollama、vLLM、LocalAI等）以及其他兼容API端点。 ## 项目结构 项目采用前后端分离架构：backend目录包含Python后端（API路由、业务逻辑、协议适配器、数据访问层、数据库模型、规则引擎等），frontend目录包含Next.js前端（App Router页面、React组件、工具库），llm_api_converter目录包含协议转换SDK。 ## 技术亮点与优势 Squirrel的最大优势在于其企业级设计：统一接入降低集成复杂度，智能路由优化成本和性能，高可用机制保障业务连续性，完整可观测性满足运维需求，现代化面板提升管理效率。相比直接使用单一提供商API，Squirrel让企业能够灵活利用多提供商优势，同时保持代码简洁和运维可控。 ## 适用场景 Squirrel特别适合以下场景：需要同时对接多个LLM提供商的企业，对服务可用性有高要求的生产环境，需要统一成本管控和审计合规的组织，以及希望实现模型透明切换的开发团队。 ## 结语 Squirrel LLM Gateway代表了LLM基础设施向成熟化、企业化演进的重要一步。在模型能力快速迭代的同时，如何高效管理和调度这些能力成为企业面临的现实问题。Squirrel通过提供统一的接入层、智能的路由策略和完善的可观测性，为企业级LLM应用提供了坚实的基础设施支撑。