RouterGym：小语言模型能否替代大模型？一个路由-记忆协同设计的Agent基准测试框架

RouterGym是一个用于评估小语言模型（SLM）在Agent任务中替代大语言模型（LLM）可行性的基准测试框架。项目实现了路由-记忆协同设计，支持多种路由策略、记忆系统和契约验证，通过全面的成本、质量、延迟权衡分析，为SLM主导的Agent架构提供实证依据。

大型语言模型（LLM）如GPT-4和Claude能力强大但成本高、响应慢；小语言模型（SLM）如Phi-3和Mistral价格低、响应快且易本地部署。业界形成新架构模式：大部分查询路由到SLM，必要时升级到LLM。RouterGym基于NVIDIA Research论文，核心问题是SLM主导的Agent架构能否在成本、速度、事实准确性等方面匹敌甚至超越LLM优先架构。

智能路由系统

支持LLM优先、SLM主导、混合专家三种策略，决策基于任务分类置信度、契约失败等信号。

记忆系统层次

包含无记忆、静态记忆、动态记忆、显著性门控RAG四个递进层次，与路由策略协同设计。

契约验证机制

通过JSON Schema验证、类型强制转换、重试回退等确保输出符合预期结构，契约失败可触发模型升级。

代码结构

模块化设计，包含agents、routing、memory、contracts等目录。

模型配置

支持任意2个SLM（如Phi-3、Mistral）和2个LLM（如GPT-4、Claude）的组合。

评估指标

覆盖事实准确性（Groundedness）、结构合规（Schema validity）、性能（Latency）、经济性（Cost）等多维度指标。

通过run_grid.py工具对路由策略、记忆系统、模型组合等进行网格搜索，典型配置包含3种路由×4种记忆×契约开关×3种子，总计216-432次独立运行，记录生成结果、成本等数据确保可复现。

处理客户支持工单时，简单查询（密码重置）由SLM直接处理；中等复杂度（功能咨询）SLM+知识库检索；复杂问题（故障排查）升级到LLM；敏感场景（安全事件）强制LLM处理，平衡质量与成本。

意义

量化SLM与LLM的成本-性能权衡，发现最优路由-记忆组合，验证SLM在业务场景的可靠性边界。

未来方向

支持更多模型提供商和开源模型，扩展记忆系统（长上下文、多模态），引入在线学习优化路由，建立社区基准数据集。

RouterGym是AI Agent架构演进的重要里程碑，为"小模型能否承担大任务"提供可验证答案。随着SLM能力提升和成本下降，SLM主导、LLM为安全网的混合架构可能成为未来Agent系统主流模式。