Roitelet是一款本地优先的自适应LLM路由器，通过动态选择最优模型、并行查询与本地合成，为用户提供统一的高质量AI交互体验。

Roitelet LLM：智能路由驱动的多模型协同推理系统\n\n## 项目背景与核心问题\n\n当前大语言模型领域呈现百花齐放的局面，每周都有新的前沿模型问世。从GPT-4o到Claude 3.7，再到Gemini 2.5，每个模型都有其独特的优势与适用场景。然而，对于普通用户而言，评估、测试并维护与多个模型的集成是一项极其繁重的任务。如何在众多模型中自动选择最适合当前问题的模型，成为亟待解决的核心痛点。\n\nRoitelet（法语意为"鹪鹩"，一种小巧但机智的鸟类）正是为解决这一问题而生。它采用了一种巧妙的策略——不直接与强大的"鹰类"模型正面竞争，而是通过智能路由机制，整合多个顶级模型的能力，最终输出超越单一模型的结果。\n\n## 系统架构与工作流程\n\nRoitelet将传统的单次API调用替换为三步协同的"飞行模式"：\n\n### 第一步：智能发现（Clever Discovery）\n\n本地路由器基于能力先验知识和历史Elo评分追踪，预测哪三个大语言模型最有可能在特定问题上表现出色。系统会从全球模型池（包括GPT-4o、Claude 3.7、Gemini 2.5等）中进行筛选，无需用户手动选择。\n\n### 第二步：并行三重奏（Aerial Triumvirate）\n\n被选中的三个模型同时生成答案。这种并行查询机制避免了过度依赖单一提供商，同时确保从不同角度获取对问题的理解。每个模型基于其训练数据和架构特点，可能提供独特的见解。\n\n### 第三步：本地加冕（Coronation）\n\n这是Roitelet最具创新性的环节。一个可信赖的本地开源模型（如通过Ollama运行的Qwen2.5）读取三个模型的响应，并将其综合成一个单一、全面、高度准确的最终答案。这种"本地合成"机制既保证了隐私性，又实现了答案质量的跃升。\n\n## 核心特性与优势\n\n### 动态路由能力\n\n系统无需手动选择模型，而是根据问题特征自动匹配最合适的模型组合。这种自适应能力大大降低了使用门槛，用户只需提出问题，其余交给Roitelet处理。\n\n### 本地优先与隐私保护\n\n最终合成阶段使用本地运行的LLM（通过Ollama），确保敏感数据不会离开用户设备。这对于企业用户和注重隐私的个人用户尤为重要。\n\n### 多平台集成支持\n\nRoitelet内置对OpenRouter、OpenAI兼容端点、Anthropic、Gemini、Perplexity等多个主流平台的支持，用户可以根据需求灵活配置。\n\n### 成本与性能监控\n\n系统提供本地遥测和成本追踪功能，包括令牌成本、延迟、模拟能耗（kWh）和碳足迹（gCO₂e）等指标，帮助用户优化使用策略。\n\n### 自学习机制\n\nRoitelet实现了基于能力的滚动Elo更新循环，能够自动优先选择随时间表现更好的模型，使系统性能持续进化。\n\n### 标准化API接口\n\n系统同时提供OpenAI兼容的/v1/chat/completions API、原生FastAPI后端和MCP JSON-RPC服务器，便于集成到现有工作流。\n\n## 技术实现与部署\n\n### Web控制室\n\nRoitelet配备了一个基于原生JavaScript的Web控制室（由API在根路径提供服务），提供对LLM集群的透明视图：\n\n- 配置管理：注入API密钥、调整本地模型选择、设置路由参数（原始能力 vs 经济性 vs 独立性）\n- 使用监控：监控模型路由情况，验证能耗估算和碳强度\n- 自动发现：接入本地Ollama实例后，Roitelet会在60秒内自动发现并注入所有已拉取的模型到路由池\n\n### 快速部署指南\n\nbash\n# 1. 创建并激活隔离环境\nconda env create -f environment.yaml\nconda activate roitelet-llm\n\n# 2. 配置凭证\ncp .env.example .env\n# 编辑.env添加API密钥\n\n# 3. 拉取本地合成模型\nollama pull qwen2.5:14b-instruct\n\n# 4. 启动应用\nchmod +x start.sh\n./start.sh\n\n\n服务启动后，API基础URL为http://localhost:8000，Web控制室可通过根路径访问。\n\n## 项目结构\n\nRoitelet采用模块化设计：\n\n- core/：共享后端逻辑、路由器、存储和能力评估\n- api/：FastAPI应用（OpenAI兼容和MCP端点）\n- web/：由API在根路径服务的原生JS控制室\n- cli/：命令行界面和终端REPL\n- data/：包含基于基准测试的默认Elo先验配置\n- scripts/：爬虫工具和自动更新脚本\n- tests/：核心引擎、API层、端到端管道和CLI工具的Pytest测试\n\n## 实际应用场景\n\nRoitelet特别适合以下场景：\n\n1. 企业知识管理：需要处理敏感内部文档，同时获得顶级模型质量\n2. 研究辅助：需要从多个角度理解复杂问题，综合不同模型的见解\n3. 成本优化：通过智能路由在性能和成本之间找到最佳平衡\n4. 模型评估：持续追踪各模型在真实任务上的表现\n\n## 总结与展望\n\nRoitelet LLM代表了一种全新的AI交互范式——不是让用户在模型之间做选择，而是由系统智能地 orchestrate 多个模型的能力。这种"模型即服务"的抽象层，既保留了用户对数据和隐私的控制，又提供了接近甚至超越单一顶级模型的输出质量。\n\n随着大模型生态的持续繁荣，Roitelet这类路由系统将成为连接用户与模型海洋的关键基础设施。它的本地优先、隐私保护、自学习等特性，也为AI应用的未来发展指明了方向。

Roitelet LLM：智能路由驱动的多模型协同推理系统\n\n项目背景与核心问题\n\n当前大语言模型领域呈现百花齐放的局面，每周都有新的前沿模型问世。从GPT-4o到Claude 3.7，再到Gemini 2.5，每个模型都有其独特的优势与适用场景。然而，对于普通用户而言，评估、测试并维护与多个模型的集成是一项极其繁重的任务。如何在众多模型中自动选择最适合当前问题的模型，成为亟待解决的核心痛点。\n\nRoitelet（法语意为"鹪鹩"，一种小巧但机智的鸟类）正是为解决这一问题而生。它采用了一种巧妙的策略——不直接与强大的"鹰类"模型正面竞争，而是通过智能路由机制，整合多个顶级模型的能力，最终输出超越单一模型的结果。\n\n系统架构与工作流程\n\nRoitelet将传统的单次API调用替换为三步协同的"飞行模式"：\n\n第一步：智能发现（Clever Discovery）\n\n本地路由器基于能力先验知识和历史Elo评分追踪，预测哪三个大语言模型最有可能在特定问题上表现出色。系统会从全球模型池（包括GPT-4o、Claude 3.7、Gemini 2.5等）中进行筛选，无需用户手动选择。\n\n第二步：并行三重奏（Aerial Triumvirate）\n\n被选中的三个模型同时生成答案。这种并行查询机制避免了过度依赖单一提供商，同时确保从不同角度获取对问题的理解。每个模型基于其训练数据和架构特点，可能提供独特的见解。\n\n第三步：本地加冕（Coronation）\n\n这是Roitelet最具创新性的环节。一个可信赖的本地开源模型（如通过Ollama运行的Qwen2.5）读取三个模型的响应，并将其综合成一个单一、全面、高度准确的最终答案。这种"本地合成"机制既保证了隐私性，又实现了答案质量的跃升。\n\n核心特性与优势\n\n动态路由能力\n\n系统无需手动选择模型，而是根据问题特征自动匹配最合适的模型组合。这种自适应能力大大降低了使用门槛，用户只需提出问题，其余交给Roitelet处理。\n\n本地优先与隐私保护\n\n最终合成阶段使用本地运行的LLM（通过Ollama），确保敏感数据不会离开用户设备。这对于企业用户和注重隐私的个人用户尤为重要。\n\n多平台集成支持\n\nRoitelet内置对OpenRouter、OpenAI兼容端点、Anthropic、Gemini、Perplexity等多个主流平台的支持，用户可以根据需求灵活配置。\n\n成本与性能监控\n\n系统提供本地遥测和成本追踪功能，包括令牌成本、延迟、模拟能耗（kWh）和碳足迹（gCO₂e）等指标，帮助用户优化使用策略。\n\n自学习机制\n\nRoitelet实现了基于能力的滚动Elo更新循环，能够自动优先选择随时间表现更好的模型，使系统性能持续进化。\n\n标准化API接口\n\n系统同时提供OpenAI兼容的/v1/chat/completions API、原生FastAPI后端和MCP JSON-RPC服务器，便于集成到现有工作流。\n\n技术实现与部署\n\nWeb控制室\n\nRoitelet配备了一个基于原生JavaScript的Web控制室（由API在根路径提供服务），提供对LLM集群的透明视图：\n\n- 配置管理：注入API密钥、调整本地模型选择、设置路由参数（原始能力 vs 经济性 vs 独立性）\n- 使用监控：监控模型路由情况，验证能耗估算和碳强度\n- 自动发现：接入本地Ollama实例后，Roitelet会在60秒内自动发现并注入所有已拉取的模型到路由池\n\n快速部署指南\n\nbash\n1. 创建并激活隔离环境\nconda env create -f environment.yaml\nconda activate roitelet-llm\n\n2. 配置凭证\ncp .env.example .env\n编辑.env添加API密钥\n\n3. 拉取本地合成模型\nollama pull qwen2.5:14b-instruct\n\n4. 启动应用\nchmod +x start.sh\n./start.sh\n\n\n服务启动后，API基础URL为http://localhost:8000，Web控制室可通过根路径访问。\n\n项目结构\n\nRoitelet采用模块化设计：\n\n- core/：共享后端逻辑、路由器、存储和能力评估\n- api/：FastAPI应用（OpenAI兼容和MCP端点）\n- web/：由API在根路径服务的原生JS控制室\n- cli/：命令行界面和终端REPL\n- data/：包含基于基准测试的默认Elo先验配置\n- scripts/：爬虫工具和自动更新脚本\n- tests/：核心引擎、API层、端到端管道和CLI工具的Pytest测试\n\n实际应用场景\n\nRoitelet特别适合以下场景：\n\n1. 企业知识管理：需要处理敏感内部文档，同时获得顶级模型质量\n2. 研究辅助：需要从多个角度理解复杂问题，综合不同模型的见解\n3. 成本优化：通过智能路由在性能和成本之间找到最佳平衡\n4. 模型评估：持续追踪各模型在真实任务上的表现\n\n总结与展望\n\nRoitelet LLM代表了一种全新的AI交互范式——不是让用户在模型之间做选择，而是由系统智能地 orchestrate 多个模型的能力。这种"模型即服务"的抽象层，既保留了用户对数据和隐私的控制，又提供了接近甚至超越单一顶级模型的输出质量。\n\n随着大模型生态的持续繁荣，Roitelet这类路由系统将成为连接用户与模型海洋的关键基础设施。它的本地优先、隐私保护、自学习等特性，也为AI应用的未来发展指明了方向。