MultiProxy：为本地LLM推理打造的高性能多后端聚合代理

MultiProxy是一款开源多后端聚合代理工具，针对本地LLM推理场景设计。它能将多个llama-server实例整合为统一的OpenAI/Anthropic兼容API端点，并提供基于HTMX的实时监控仪表板。核心解决本地部署中多后端管理复杂、协议不统一、缺乏监控等痛点，为团队提供轻量且完整的私有化AI基础设施方案。

随着开源LLM（如LLaMA、Qwen）发展，本地部署（以llama.cpp为代表）成为趋势，但多后端管理面临挑战：

• 客户端需硬编码多个端点URL
• 不同后端API协议不一致
• 缺乏统一监控视图
• 故障转移需手动实现，风险高。

MultiProxy是智能流量路由与聚合平台（非推理引擎）。支持双协议兼容： OpenAI端点：/v1/chat/completions（对话补全）、/v1/responses（结构化响应） Anthropic端点：/v1/messages（Claude风格消息）、/v1/messages/count_tokens（令牌计数） 客户端可零改动切换到本地后端，请求响应自动翻译格式。

通过config.yaml实现灵活配置：

• 模型ID映射：将客户端请求的模型名（如gpt-4-turbo）映射到具体后端
• 默认回退：未找到模型时路由到预设后端
• 上下文窗口预检：启动时查询后端上下文限制，前置拒绝超窗口请求。

内置基于HTMX的Web仪表板（默认8080端口），无需复杂构建：

• 核心指标：每秒令牌数、首令牌时间、聚合使用量
• 实时活动流：Server-Sent Events动态刷新请求状态 采用服务器端渲染+渐进增强，降低维护复杂度。

多层容错设计：

• 优雅故障转移：后端错误/超时自动尝试其他节点
• 错误语义翻译：将后端特定错误转为标准格式
• SSE流保护：流式响应断开时确保客户端接收终止信号。

部署步骤：

1. Python3.14+环境
2. 安装依赖：pip install -r requirements.txt
3. 创建config.yaml
4. 启动：./start.sh API监听8001，仪表板8080。 适用场景：多模型实验室、团队共享基础设施、A/B测试、成本敏感推理集群。

MultiProxy采用MIT许可，可自由商用、修改。代码结构清晰（Python实现），是学习代理架构的参考。它填补了本地LLM部署的基础设施空白，降低多后端管理与运维门槛，为私有化AI团队提供轻量完整的起点。