aiNrve Proxy 是一个开源的 LLM 推理路由代理，类似于"AI 领域的 nginx"，通过智能调度将请求路由到最快、最便宜的提供商，支持多厂商故障自动转移。

aiNrve Proxy：为AI推理打造的智能负载均衡与路由系统\n\n随着大语言模型（LLM）在各类应用中的普及，一个日益突出的问题摆在开发者面前：如何高效、经济地管理多提供商的 AI 推理调用？当 OpenAI、Anthropic、Groq、Together AI、Google Gemini 等多个服务商各有优劣时，手动切换和故障处理不仅繁琐，还容易造成成本浪费和用户体验下降。\n\naiNrve Proxy 项目正是针对这一痛点设计的开源解决方案——它自称为"AI 技术栈的神经系统"，目标是成为 AI 推理领域的 nginx。\n\n## 核心问题：多提供商 LLM 调用的痛点\n\n在实际生产环境中，团队往往面临以下挑战：\n\n- 成本不可控：流量固定绑定到单一提供商，无法利用价格差异优化成本\n- 延迟波动大：不同地区、不同时段、不同模型的响应延迟差异显著\n- 故障恢复脆弱：手动故障转移容易出错，且恢复时间不可预测\n- 运维复杂度高：每个提供商的 API 格式、认证方式、限流策略各不相同\n\n这些问题的根源在于缺乏一个统一的智能调度层。\n\n## aiNrve Proxy 的解决方案\n\naiNrve Proxy 采用代理架构，在应用层和 LLM 提供商之间插入一个智能路由层。开发者只需对接一个统一的 OpenAI 兼容 API 端点，而路由决策完全由代理层自动处理。\n\n### 核心特性一览\n\n1. 智能负载均衡：基于成本和延迟评分动态选择最优提供商\n2. 任务感知路由：通过 HTTP 头（如 X-AiNrve-Task: code）指定任务类型，触发特定的提供商选择策略\n3. 自动故障转移：当首选提供商返回 5xx 错误时，自动重试次优选项\n4. 多提供商支持：开箱即用支持 OpenAI、Anthropic、Groq、Together AI、Gemini\n5. 流式响应：完整支持 SSE 流式输出\n6. 可观测性：提供 Prometheus 兼容的指标端点\n\n## 技术实现详解\n\n### 配置驱动的路由策略\n\naiNrve Proxy 采用 YAML 配置文件管理路由策略，核心配置包括：\n\nyaml\nrouting:\n default_strategy: balanced # 默认策略：平衡成本与延迟\n weight_cost: 0.5 # 成本权重\n weight_latency: 0.5 # 延迟权重\n task_overrides: # 任务类型覆盖\n code: groq # 代码任务优先使用 Groq\n reasoning: anthropic # 推理任务优先使用 Anthropic\n fallback_provider: openai # 故障回退提供商\n\n\n这种设计允许运维人员根据业务特点灵活调整路由策略，无需修改应用代码。\n\n### 健康检查与评分机制\n\n系统通过周期性健康检查（默认 30 秒）监控各提供商的可用性。对于健康的提供商，aiNrve 基于用户配置的策略权重计算综合评分：\n\n\n综合评分 = cost_weight × 成本评分 + latency_weight × 延迟评分\n\n\n评分最高的提供商获得请求分配。当某个提供商连续失败时，自动将其标记为不健康，并从候选池中移除。\n\n### OpenAI 兼容 API\n\naiNrve Proxy 提供与 OpenAI API 完全兼容的接口，这意味着：\n\n- 现有使用 OpenAI SDK 的应用可以零改动迁移\n- 支持标准的 /v1/chat/completions 端点\n- 支持流式和非流式两种模式\n- 认证通过 Bearer Token 完成\n\n示例请求：\n\nbash\ncurl -sS http://localhost:8080/v1/chat/completions \\\n -H \"Content-Type: application/json\" \\\n -H \"Authorization: Bearer local-dev-key\" \\\n -H \"X-AiNrve-Task: code\" \\\n -d '{\n \"model\": \"gpt-4o-mini\",\n \"messages\": [{\"role\": \"user\", \"content\": \"Write a quicksort in Go\"}],\n \"stream\": false\n }'\n\n\n## 部署与使用\n\naiNrve Proxy 的部署非常简洁，基于 Docker Compose：\n\nbash\ncp .env.example .env\n# 配置至少一个提供商的 API key\ndocker compose up --build\n\n\n系统默认监听 8080 端口，提供以下端点：\n\n- POST /v1/chat/completions：聊天补全（OpenAI 兼容）\n- GET /health：健康状态检查\n- GET /metrics：Prometheus 指标\n\n## 应用场景与价值\n\naiNrve Proxy 适用于多种场景：\n\n### 成本优化场景\n对于成本敏感的应用，可以配置高成本权重，让系统自动选择价格最低的可用提供商。例如，在 Groq 和 Together AI 价格差异明显时，流量会自动向低价方倾斜。\n\n### 延迟敏感场景\n对于实时交互应用（如聊天机器人），可以配置高延迟权重，确保用户获得最快的响应。系统会自动选择当前延迟最低的提供商。\n\n### 高可用场景\n通过多提供商配置和自动故障转移，即使单个提供商出现服务中断，应用也能保持正常运行，大幅提升系统可靠性。\n\n### 任务特化场景\n不同任务对模型能力的要求不同。代码生成可能更适合 Groq 的快速响应，复杂推理可能更适合 Anthropic 的 Claude 系列。通过任务覆盖配置，可以实现精细化的路由策略。\n\n## 技术栈与生态\n\naiNrve Proxy 采用 Go 语言开发，具有出色的性能和资源效率。项目提供 Python SDK（pip install ainrve），方便 Python 生态的集成。\n\n当前支持的提供商状态：\n\n| 提供商 | 状态 | 流式支持 |\n|--------|------|----------|\n| OpenAI | 已实现 | 是 |\n| Anthropic | 已实现 | 是 |\n| Groq | 已实现 | 是 |\n| Together AI | 已实现 | 是 |\n| Gemini | 已实现 | 是 |\n\n## 开源与贡献\n\naiNrve Proxy 采用 MIT 许可证开源，欢迎社区贡献。项目遵循标准的 GitHub 协作流程：Fork → 功能分支 → 测试 → Pull Request。\n\n## 结语\n\n在 LLM 应用日益复杂的今天，aiNrve Proxy 提供了一个清晰的价值主张：让开发者专注于业务逻辑，将提供商管理、故障处理、成本优化的复杂性交给专业的路由层。它的设计哲学与 nginx 在 Web 服务器领域的定位类似——简单、高效、可依赖。对于正在构建 LLM 应用的技术团队而言，这是一个值得关注的开源工具。

aiNrve Proxy：为AI推理打造的智能负载均衡与路由系统\n\n随着大语言模型（LLM）在各类应用中的普及，一个日益突出的问题摆在开发者面前：如何高效、经济地管理多提供商的 AI 推理调用？当 OpenAI、Anthropic、Groq、Together AI、Google Gemini 等多个服务商各有优劣时，手动切换和故障处理不仅繁琐，还容易造成成本浪费和用户体验下降。\n\naiNrve Proxy 项目正是针对这一痛点设计的开源解决方案——它自称为"AI 技术栈的神经系统"，目标是成为 AI 推理领域的 nginx。\n\n核心问题：多提供商 LLM 调用的痛点\n\n在实际生产环境中，团队往往面临以下挑战：\n\n- 成本不可控：流量固定绑定到单一提供商，无法利用价格差异优化成本\n- 延迟波动大：不同地区、不同时段、不同模型的响应延迟差异显著\n- 故障恢复脆弱：手动故障转移容易出错，且恢复时间不可预测\n- 运维复杂度高：每个提供商的 API 格式、认证方式、限流策略各不相同\n\n这些问题的根源在于缺乏一个统一的智能调度层。\n\naiNrve Proxy 的解决方案\n\naiNrve Proxy 采用代理架构，在应用层和 LLM 提供商之间插入一个智能路由层。开发者只需对接一个统一的 OpenAI 兼容 API 端点，而路由决策完全由代理层自动处理。\n\n核心特性一览\n\n1. 智能负载均衡：基于成本和延迟评分动态选择最优提供商\n2. 任务感知路由：通过 HTTP 头（如 X-AiNrve-Task: code）指定任务类型，触发特定的提供商选择策略\n3. 自动故障转移：当首选提供商返回 5xx 错误时，自动重试次优选项\n4. 多提供商支持：开箱即用支持 OpenAI、Anthropic、Groq、Together AI、Gemini\n5. 流式响应：完整支持 SSE 流式输出\n6. 可观测性：提供 Prometheus 兼容的指标端点\n\n技术实现详解\n\n配置驱动的路由策略\n\naiNrve Proxy 采用 YAML 配置文件管理路由策略，核心配置包括：\n\nyaml\nrouting:\n default_strategy: balanced 默认策略：平衡成本与延迟\n weight_cost: 0.5 成本权重\n weight_latency: 0.5 延迟权重\n task_overrides: 任务类型覆盖\n code: groq 代码任务优先使用 Groq\n reasoning: anthropic 推理任务优先使用 Anthropic\n fallback_provider: openai 故障回退提供商\n\n\n这种设计允许运维人员根据业务特点灵活调整路由策略，无需修改应用代码。\n\n健康检查与评分机制\n\n系统通过周期性健康检查（默认 30 秒）监控各提供商的可用性。对于健康的提供商，aiNrve 基于用户配置的策略权重计算综合评分：\n\n\n综合评分 = cost_weight × 成本评分 + latency_weight × 延迟评分\n\n\n评分最高的提供商获得请求分配。当某个提供商连续失败时，自动将其标记为不健康，并从候选池中移除。\n\nOpenAI 兼容 API\n\naiNrve Proxy 提供与 OpenAI API 完全兼容的接口，这意味着：\n\n- 现有使用 OpenAI SDK 的应用可以零改动迁移\n- 支持标准的 /v1/chat/completions 端点\n- 支持流式和非流式两种模式\n- 认证通过 Bearer Token 完成\n\n示例请求：\n\nbash\ncurl -sS http://localhost:8080/v1/chat/completions \\\n -H \"Content-Type: application/json\" \\\n -H \"Authorization: Bearer local-dev-key\" \\\n -H \"X-AiNrve-Task: code\" \\\n -d '{\n \"model\": \"gpt-4o-mini\",\n \"messages\": [{\"role\": \"user\", \"content\": \"Write a quicksort in Go\"}],\n \"stream\": false\n }'\n\n\n部署与使用\n\naiNrve Proxy 的部署非常简洁，基于 Docker Compose：\n\nbash\ncp .env.example .env\n配置至少一个提供商的 API key\ndocker compose up --build\n\n\n系统默认监听 8080 端口，提供以下端点：\n\n- POST /v1/chat/completions：聊天补全（OpenAI 兼容）\n- GET /health：健康状态检查\n- GET /metrics：Prometheus 指标\n\n应用场景与价值\n\naiNrve Proxy 适用于多种场景：\n\n成本优化场景\n对于成本敏感的应用，可以配置高成本权重，让系统自动选择价格最低的可用提供商。例如，在 Groq 和 Together AI 价格差异明显时，流量会自动向低价方倾斜。\n\n延迟敏感场景\n对于实时交互应用（如聊天机器人），可以配置高延迟权重，确保用户获得最快的响应。系统会自动选择当前延迟最低的提供商。\n\n高可用场景\n通过多提供商配置和自动故障转移，即使单个提供商出现服务中断，应用也能保持正常运行，大幅提升系统可靠性。\n\n任务特化场景\n不同任务对模型能力的要求不同。代码生成可能更适合 Groq 的快速响应，复杂推理可能更适合 Anthropic 的 Claude 系列。通过任务覆盖配置，可以实现精细化的路由策略。\n\n技术栈与生态\n\naiNrve Proxy 采用 Go 语言开发，具有出色的性能和资源效率。项目提供 Python SDK（pip install ainrve），方便 Python 生态的集成。\n\n当前支持的提供商状态：\n\n| 提供商 | 状态 | 流式支持 |\n|--------|------|----------|\n| OpenAI | 已实现 | 是 |\n| Anthropic | 已实现 | 是 |\n| Groq | 已实现 | 是 |\n| Together AI | 已实现 | 是 |\n| Gemini | 已实现 | 是 |\n\n开源与贡献\n\naiNrve Proxy 采用 MIT 许可证开源，欢迎社区贡献。项目遵循标准的 GitHub 协作流程：Fork → 功能分支 → 测试 → Pull Request。\n\n结语\n\n在 LLM 应用日益复杂的今天，aiNrve Proxy 提供了一个清晰的价值主张：让开发者专注于业务逻辑，将提供商管理、故障处理、成本优化的复杂性交给专业的路由层。它的设计哲学与 nginx 在 Web 服务器领域的定位类似——简单、高效、可依赖。对于正在构建 LLM 应用的技术团队而言，这是一个值得关注的开源工具。