LLM-Arena：生产级大模型评估与动态路由系统

LLM-Arena 是一个生产就绪的评估流水线，支持多模型基准测试、基于 Transformer 的动态模型路由以及提示词优化，专为本地 Ollama 推理引擎设计。

• 原作者/维护者：sandiago21
• 来源平台：github
• 原始标题：llm_evaluation
• 原始链接：https://github.com/sandiago21/llm_evaluation
• 来源发布时间/更新时间：2026-05-29T08:46:32Z

原作者与来源

• 原作者/维护者：sandiago21
• 来源平台：github
• 原始标题：llm_evaluation
• 原始链接：https://github.com/sandiago21/llm_evaluation
• 来源发布时间/更新时间：2026-05-29T08:46:32Z 原作者与来源\n\n- 原作者/维护者：sandiago21\n- 来源平台：GitHub\n- 原始标题：llm_evaluation\n- 原始链接：https://github.com/sandiago21/llm_evaluation\n- 发布时间：2026-05-29\n\n---\n\n项目背景与动机\n\n随着大语言模型（LLM）生态的快速发展，开发者和企业面临一个关键问题：如何在众多模型中选择最适合特定任务的模型？不同的模型在正确性、延迟、成本等方面表现各异，而简单的基准测试往往无法反映真实场景下的性能差异。\n\nLLM-Arena 项目正是为解决这一问题而设计。它不仅仅是一个静态的评估工具，而是一个完整的生产级流水线，包含三个核心组件：\n\n1. 多模型评估系统：并行测试多个模型的性能\n2. 动态模型路由器：基于查询内容智能选择最优模型\n3. 提示词优化器：通过迭代搜索提升弱模型的表现\n\n---\n\n系统架构设计\n\n项目结构\n\n项目采用清晰的分层架构：\n\n\nllm-arena/\n├── configs/ 配置文件（Ollama、评测、缓存等设置）\n├── data/ 数据集、模型检查点、预测结果\n├── notebooks/ Jupyter 笔记本（分析、训练、提示词优化）\n├── src/\n│ ├── api/ FastAPI 服务\n│ ├── core/ 配置加载、日志、版本控制\n│ ├── models/ 数据模型定义\n│ ├── evaluation/ 评测核心（Ollama 客户端、评测逻辑、缓存）\n│ ├── tasks/ 后台任务管理\n│ ├── router/ Transformer 路由器\n│ └── prompts/ 提示词优化器\n├── cache/ 版本化缓存目录\n└── docker-compose.yaml\n\n\n---\n\n核心功能详解\n\n1. 多模型并行评估\n\n系统支持同时评估多个模型，采用线程池实现并行执行：\n\n- 每个缺失的模型启动独立线程\n- 缓存命中的模型跳过计算\n- Ollama HTTP 客户端内置 tenacity 重试机制，支持指数退避\n\n评估指标包括：\n\n- 正确性（Correctness）：通过 LLM-as-a-Judge 模式评分\n- 延迟（Latency）：端到端响应时间\n- Token 数量：生成内容的 token 计数\n\n2. 智能缓存与版本控制\n\n系统实现了精密的缓存机制：\n\n- 基于 SHA-256 计算版本哈希，覆盖样本、模型集合、评测模型和提示词版本\n- 缓存文件按版本存储在 cache/<version>/<model>.pkl\n- 支持部分命中：如果 3 个模型中有 2 个已有缓存，仅计算缺失的模型\n- 并发写入通过线程锁序列化\n\n缓存失效条件包括：\n\n- 样本内容变化\n- 模型集合变化\n- 评测模型或提示词版本变化\n\n3. 动态模型路由器\n\n这是项目最具创新性的功能。路由器是一个基于 Transformer 的模型，能够根据查询内容预测最优模型。\n\n工作原理：\n\n1. 使用 RoBERTa-base 作为基础编码器\n2. 输入查询文本，输出每个模型的预期正确性/延迟比值\n3. 选择比值最高的模型作为推荐\n\n训练流程：\n\n- 使用历史评测数据作为训练集\n- 查询文本作为输入，实际正确性/延迟比作为标签\n- 端到端微调 Transformer\n\nAPI 使用：\n\nbash\ncurl -X POST http://localhost:8000/route \\\n -H 'Content-Type: application/json' \\\n -d '{\"query\": \"Explain how an interest-rate swap works\"}'\n\n\n响应示例：\njson\n{\"recommended_model\": \"mistral\", \"confidence\": 0.83}\n\n\n4. 提示词优化器\n\n针对资源受限场景，系统提供提示词优化功能：\n\n- 迭代式 LLM 驱动搜索\n- 在验证集上评估不同提示词模板的效果\n- 目标是将弱模型的正确性提升到可接受水平\n\n这一功能特别适合希望在低成本模型上获得接近高端模型性能的场景。\n\n---\n\n部署与使用\n\nDocker Compose 快速启动\n\n项目提供完整的容器化部署方案：\n\nbash\ndocker compose up --build\n\n\n启动三个服务：\n\n1. ollama：模型推理服务\n2. ollama-init：一次性模型拉取（mistral、llama3、gemma2）\n3. scoring-api：FastAPI 服务（端口 8000）\n\n首次启动会下载约 10-15GB 的模型，后续启动复用 ollama_data 卷。\n\nAPI 端点\n\nPOST /evaluate - 提交评测任务\n\nbash\ncurl -X POST http://localhost:8000/evaluate \\\n -H 'Content-Type: application/json' \\\n -d '{\n \"samples\": [\n {\"query\": \"What is a hedge?\", \"expected_answer\": \"An investment used to reduce risk on another asset.\"},\n {\"query\": \"What is 7 factorial?\", \"expected_answer\": \"5040\"}\n ],\n \"models\": [\"mistral\", \"llama3\", \"gemma2\"]\n }'\n\n\n返回 task_id，评测在后台异步执行。\n\nGET /tasks/{task_id} - 查询任务状态\n\nbash\ncurl http://localhost:8000/tasks/{task_id}\n\n\n状态流转：pending → running → completed（或 failed）\n\nPOST /route - 模型路由推荐\n\nbash\ncurl -X POST http://localhost:8000/route \\\n -H 'Content-Type: application/json' \\\n -d '{\"query\": \"Explain quantum computing\"}'\n\n\n---\n\n配置体系\n\n配置采用 YAML + 环境变量的分层设计：\n\n| 配置项 | 环境变量 | 说明 |\n|--------|----------|------|\n| ollama.host | OLLAMA_HOST | 推理端点 |\n| ollama.timeout_seconds | OLLAMA_TIMEOUT_SECONDS | 请求超时 |\n| judge.model | JUDGE_MODEL | 评测模型 |\n| judge.prompt_version | JUDGE_PROMPT_VERSION | 提示词版本（用于缓存失效） |\n| cache.directory | CACHE_DIRECTORY | 缓存目录 |\n| api.host / api.port | API_HOST / API_PORT | 服务绑定地址 |\n\n---\n\n并发模型设计\n\n系统采用多层次的并发策略：\n\n1. 任务级别：POST /evaluate 立即返回，后台线程池执行\n2. 模型级别：每个缺失模型启动独立线程并行执行\n3. 请求级别：Ollama 客户端支持 tenacity 重试\n4. 日志级别：通过 contextvars 传播的 request_id 实现结构化日志\n\n---\n\n应用场景\n\n1. 模型选型决策\n\n在引入新模型前，使用标准化数据集评估其在特定任务上的表现。\n\n2. 成本优化\n\n通过动态路由，将简单查询路由到低成本模型，复杂查询路由到高性能模型，实现成本与质量的平衡。\n\n3. A/B 测试\n\n对比不同模型或提示词版本的效果，数据驱动地优化系统。\n\n4. 持续监控\n\n定期运行评测，监控模型性能退化或新版本改进。\n\n---\n\n技术亮点总结\n\n1. 生产就绪：完整的 Docker 部署、结构化日志、健康检查\n2. 智能缓存：版本化缓存避免重复计算，支持部分命中\n3. 学习型路由：首个开源的基于 Transformer 的 LLM 路由器\n4. 模块化设计：评估、路由、优化三大功能可独立使用\n5. 可观测性：JSON 结构化日志、请求追踪、性能指标\n\n---\n\n结语\n\nLLM-Arena 为 LLM 应用开发提供了一个完整的评估与优化工具链。其动态路由功能特别值得关注，它代表了从"静态选择模型"到"智能路由查询"的范式转变。随着多模型生态的成熟，这类工具将成为 LLM 应用基础设施的重要组成部分。