SLM-LLM智能路由系统：如何用置信度门控实现13倍性能提升

本文介绍Venisa在Manipal Institute of Technology开发的SLM-LLM智能路由系统，通过置信度门控机制动态分配查询至SLM或LLM，解决企业面临的大模型成本高、响应慢与小模型能力不足的矛盾，实现成本、延迟与性能的三重优化，特定场景下可达13倍加速效果。

随着LLM（如GPT-4、Mistral7B）广泛应用，企业面临核心矛盾：LLM能力强但成本高、响应慢；SLM便宜快速但复杂推理任务表现欠佳。传统"一刀切"用LLM导致资源浪费，如何在不牺牲质量前提下让简单查询走SLM、复杂走LLM是路由系统要解决的核心问题。

系统采用三级处理流水线：

1. 符号数学引擎：处理数学表达式，响应约1ms；
2. NanoQA小型模型（1.35亿参数）：处理事实性短答案查询，经30万+QA对训练，用Focal Loss(γ=2)和GPT-2知识蒸馏；
3. Mistral7B大型模型：处理复杂推理兜底。 路由决策依赖置信度门控：计算生成token的平均softmax概率，≥0.6用SLM输出，<0.6升级至LLM，无需额外分类器或标注数据。

训练方面：

• 数据集：构建30万+问答对（手工策划、增强训练、领域特定数据）；
• 技术：采用γ=2的Focal Loss解决类别不平衡，从GPT-2向NanoQA蒸馏知识，token级精细训练提升语义敏感度。

系统性能指标优异：

指标	数值
准确率	98.0%
MRR	98.6%
路由F1分数	82.1%
总响应时间降低	63%
纯LLM方案加速	约13倍
数据表明系统在保持高质量输出同时，大幅降低延迟与成本，路由判断准确性高。

应用价值体现在三方面：

1. 成本优化：SLM调用成本仅LLM的1/10，多数简单查询走SLM显著降低支出；
2. 延迟改善：63%响应时间降低提升用户体验（如实时对话、客服机器人）；
3. 本地部署：支持Ollama集成Mistral7B本地运行，满足金融、医疗等数据敏感行业的隐私合规要求。

当前系统局限及改进计划：

• 同义改写理解需增强（计划引入embedding技术）；
• NanoQA可扩展至更大参数量级；
• 集成强化学习优化路由策略。