BrainRouter：智能路由代理实现云地混合LLM推理

BrainRouter是基于Rust构建的高性能LLM路由代理，专为AI编程工具链设计。它通过本地8B分类器实现请求智能分发，支持云服务商与本地推理自动切换，解决开发者在云端大模型（能力强但成本高、隐私风险）与本地模型（成本低、隐私好但复杂任务欠佳）之间的选择痛点，提供灵活高效的混合推理方案。

随着AI编程助手普及，开发者面临云端vs本地模型的抉择：云端模型（如GPT-4、Claude3.5）能力强但成本高、有隐私风险；本地模型（如Llama3、Qwen）成本低、隐私好但复杂任务表现欠佳。传统方案需手动切换或固定一端，不灵活高效。BrainRouter作为智能中间层，根据请求特性自动选择最优推理端点，解决此痛点。

BrainRouter采用Rust构建，以速度为目标，架构层次清晰。三大路由模式：1. auto模式：Bonsai8B分类器200ms内分析请求复杂度智能分流；2. local模式：强制本地推理，自动重写提示适配本地模型；3. cloud模式：直连云端。关键创新：双协议兼容（OpenAI/Anthropic格式）、自动降级（云端失败回退本地）、MCP代码审查循环（本地LLM迭代审查保护隐私）。

BrainRouter整合三大开源组件：1. llama-swap（Go开发）：本地模型调度器，按需加载/自动卸载GGUF模型，统一OpenAI接口，宏系统简化配置；2. Manifest：云端路由网关，支持多家供应商（Anthropic/OpenAI等），内置降级与统一管理；3. Bonsai8B：轻量级分类器，80亿参数GGUF模型，推理延迟<200ms，体积6GB（Q6_K_L），具备语义理解能力避免规则僵化。

BrainRouter面向Linux环境，利用systemd后台托管。硬件要求：支持Vulkan的AMD/NVIDIA显卡，建议8GB+显存（Q6_K_L）或6GB（Q4_K_M），预留模型存储空间。软件依赖：Rust工具链、Go1.22+、Docker/Podman、Toolbox。部署流程：详尽指南覆盖Toolbox容器创建到systemd服务配置，GPU驱动隔离方案保证环境整洁与资源调度灵活。

BrainRouter在多场景价值突出：1.企业开发：敏感代码本地处理，通用问题云端求解，保护核心代码隐私；2.个人开发者：智能路由降低API成本（简单任务本地，复杂任务云端）；3.离线优先：网络不稳定时自动降级到本地模型，确保开发不中断。

BrainRouter代表AI基础设施演进方向：从单一模型依赖转向智能路由架构。优势：解耦（工具无需关心后端模型）、弹性（动态调整策略）、可扩展（新增模型/供应商仅需配置）。随着端侧模型能力提升，智能路由层将成AI应用标准组件，实现云地协同按需调度愿景。