Olla：为LLM基础设施打造的高性能智能代理与负载均衡器

Olla是一款专为大型语言模型（LLM）基础设施设计的轻量级高性能代理与负载均衡器，采用Go语言编写。它解决了多推理后端管理中的智能分配请求、故障自动转移、跨后端模型统一等痛点，支持智能路由、自动故障转移、跨本地与远程推理后端的统一模型发现，适用于家庭实验室到企业级生产环境。

随着LLM普及，团队搭建推理基础设施时面临诸多挑战：如何智能分配请求？如何实现故障自动转移？如何统一管理不同后端模型？传统API网关如LiteLLM在高并发场景下笨重且缺乏LLM特性深度优化。Olla应运而生，专为LLM场景设计高性能低开销代理与负载均衡器。

Olla采用双代理引擎架构：

• Sherpa引擎：简化版，主打易维护性和代码可读性，适合对性能要求不极致但需稳定易维护的场景。
• Olla引擎：性能优先，提供断路器、连接池、对象池等高级功能，高并发下降低GC压力提升吞吐量。用户可根据需求切换引擎，兼顾小型实验室与企业生产环境。

Olla支持：

1. 优先级路由与故障转移：为后端设置优先级权重，自动路由到最优节点；后端故障时透明切换到健康节点。
2. 跨提供商模型统一：自动发现各后端支持的模型，建立统一目录；客户端通过OpenAI兼容API访问所有模型（无论后端是Ollama、vLLM、llama.cpp还是LM Studio）；支持跨提供商路由，如请求"llama3.2"时自动选择最优后端。

Olla内置完善健康检查机制：持续监控后端节点状态，异常时触发断路器隔离；定期尝试恢复检测，节点正常后自动重新纳入路由池。这种自愈能力减少运维负担，提升基础设施可用性。

Olla具备良好兼容性与集成性：

• OpenAI兼容API：提供/olla/proxy/v1/chat/completions端点，支持OpenAI API的客户端无需修改代码即可切换。
• Anthropic Messages API支持：v0.0.20版本起支持，原生支持的后端直接透传请求，不支持的自动格式转换。
• OpenWebUI集成：官方提供Docker Compose示例，几分钟内搭建带Web界面的多节点LLM集群。

Olla适用于多种场景：

• 家庭实验室：多设备部署Ollama实例，通过Olla统一访问入口与负载均衡（笔记本、台式机、树莓派均可作为节点）。
• 混合云场景：企业结合本地推理资源与云端API，本地资源不足时自动溢出到云端，平衡成本与性能。
• 开发团队协作：共享Olla管理的推理基础设施，开发者通过统一API访问，无需关心后端部署节点。

Olla填补了传统API网关与专用LLM负载均衡器的空白，轻量且针对LLM场景深度优化。目前处于活跃开发阶段，未来计划支持Prometheus/OpenTelemetry指标导出、动态配置管理、TLS终止、管理面板等企业级功能，值得LLM基础设施构建或优化团队关注。