fast-slow-llm：借鉴认知科学的双系统智能路由网关

fast-slow-llm是受丹尼尔·卡尼曼《思考，快与慢》双系统理论启发的LLM网关系统，通过智能路由将查询动态分配给快速廉价的System1模型或深度推理的System2模型，在保持响应质量的同时实现高达99%的API成本节约。

丹尼尔·卡尼曼提出人类思维双系统：System1快速直觉自动化，System2缓慢理性需努力。fast-slow-llm将此概念应用于LLM推理架构，因并非所有查询都需深度推理，简单问题用轻量模型即可，复杂任务才需强推理模型，故构建智能路由层区分两类查询。

核心是路由代理，评估查询复杂度（1-10分）：评分≤5路由到System1（轻量低成本模型，响应快）；评分>5路由到System2（强推理模型如o1-preview）。System1响应经质量评估器校验，得分低于0.6则回退到System2，确保质量。

1.智能复杂度分类：路由代理通过提示词和评估标准（模糊度、推理步骤、专业性、歧义性）判断复杂度，比关键词匹配更准确；2.成本节约：用影子账本模拟成本，System1用gpt-4o-mini定价，System2用o1-preview定价，简单查询节约达99.9%；3.幻觉防护：System2易过度扩展产生幻觉，路由简单查询到System1避免风险；4.实时指标追踪：监控token使用、成本、延迟；5.对比模式：显示路由结果与始终用昂贵模型的对比。

案例一：简单查询"你们接受哪些支付方式？"，System1响应简洁准确（18token，成本$0.000008），System2过度详细含幻觉（380token，$0.0285），节约99.9%；案例二：复杂多步骤问题被正确识别，路由到System2获高质量结果。

基于LangChain和LangSmith构建，支持本地模型部署（Ollama）和商业API调用（OpenAI等）。模块化设计，组件可独立配置替换，路由代理、评估器、系统后端有清晰接口便于定制。

适合客服自动化（降低简单查询成本）、内容审核（快速过滤边界案例交强模型）、智能助手（动态调整处理能力）、企业知识库（优化资源分配）。

fast-slow-llm将认知科学洞见转化为工程方案，为LLM成本优化提供思路。核心启示是智能分配资源而非用最强模型解决所有问题。未来这类智能路由架构可能成LLM应用标准配置，平衡性能与成本。