Custom LLM Router：构建本地优先的智能模型路由系统

Custom LLM Router是一个开源的通用LLM自动路由系统，旨在成为OpenRouter的本地替代方案。它以"本地优先、智能回退"为核心设计理念，兼容OpenAI API格式，能根据请求意图、复杂度和成本智能选择最优模型（优先本地模型，必要时回退云端），平衡数据隐私、成本控制与任务质量。

开发者在AI应用开发中常面临两难：使用云端API会导致数据离开本地且产生持续费用；完全依赖本地模型则可能无法应对复杂任务。Custom LLM Router通过智能路由机制解决这一矛盾，既保证数据隐私，又确保任务处理能力。

系统采用分层架构：应用层通过OpenAI SDK发送请求，路由层基于意图分类决策，执行层优先调用本地模型（Ollama默认，LM Studio可选，两者同时配置时优先LM Studio），必要时回退云端。内置轻量级分类器（默认qwen2.5-3b）将请求分为14类，根据分类结果和置信度选择路由：高置信度→本地，中等→云端主模型，低→更强云端备选模型。云端支持OpenRouter、DashScope、Anthropic Claude、OpenAI等，还可通过环境变量添加自定义兼容提供商。

该系统适用于多种场景：1.企业隐私合规：敏感数据优先本地处理；2.成本优化：约60-70%日常查询可由本地模型处理，降低云端费用；3.模型能力互补：本地小模型响应快成本低，云端大模型处理复杂任务；4.开发测试：消除API成本和网络依赖，加速迭代。

技术栈：Python3.11+、FastAPI。核心模块包括分类器（classifier）、提供商抽象层（providers）、路由逻辑（router）、Web仪表盘（dashboard）。配置支持环境变量和YAML文件，路由规则定义在routing_rules.yaml。部署方式：本地开发（pip安装+uvicorn启动）、Docker部署（Compose一键启动）、生产扩展（异步架构支持高并发，日志可迁移到PostgreSQL）。

Custom LLM Router代表了LLM应用架构的重要方向：在利用大模型能力的同时，保持对数据和成本的控制。它并非取代云端服务，而是提供更灵活、经济、安全的混合方案。随着开源模型能力提升，本地优先策略适用范围将扩大；项目模块化设计便于集成新模型和提供商，持续优化推理体验，适合构建私有化AI基础设施的团队。