开源大语言模型自动化评测框架：零 API 密钥的本地基准测试方案

本文介绍一个开源LLM自动化评测框架，支持对LLaMA、Mistral、Phi-2等模型进行推理能力、延迟、吞吐量和内存占用的全面评估。该框架基于HuggingFace Transformers本地运行，无需商业API密钥，通过GitHub Actions实现自动化持续基准测试和排行榜更新，解决开源模型评测中的环境差异、标准不一、重复劳动和透明度不足等问题。

随着开源大语言模型爆发式增长，开发者面临选择难题。商业API服务虽有标准化评测，但开源模型评测存在诸多挑战：环境差异导致性能表现不一、评测标准不统一、重复构建工具浪费资源、结果难以复现缺乏可信度。本框架旨在提供完整自动化基准测试方案，零API密钥，本地运行。

框架从四个维度评估模型：

1. 推理能力评分：通过算术、逻辑、常识、序列推理等10个关键词匹配任务，正确任务数占比为得分。
2. 延迟性能：测量生成最多50个token的耗时，包括平均延迟、P50、P90延迟。
3. Token吞吐量：每秒生成token数，基于3次独立测试。
4. 内存占用：模型加载前后RSS增量（MB）。

项目结构：包含CI工作流、主评测脚本、排行榜生成脚本、模型注册表、结果文件等。 推理引擎：使用HuggingFace Transformers，支持CPU/GPU，零成本、可控、隐私安全、易扩展。 模型分级：ci_safe（如distilgpt2）、ci_borderline（如gpt2-medium）、local_only（如Phi-2、Mistral-7B）。 GitHub Actions自动化：触发条件为代码变更、定时任务（每周日UTC凌晨2点）、手动触发；自动提交结果文件（原始数据、排行榜JSON及Markdown）。

本地使用：

• 基础评测：安装依赖后运行run_benchmark.py（CI安全模型），生成排行榜。
• 大模型评测：如Phi-2（需6GB内存）、Mistral 7B（需Ollama）。 社区贡献：Fork仓库→添加模型配置→本地评测→提交PR，扩展排行榜覆盖更多模型。

框架适用于：

1. 模型选型：参考排行榜权衡推理能力、速度、内存占用。
2. 性能回归测试：CI自动化持续评测，及时发现性能退化。
3. 硬件选型：内存占用数据帮助评估硬件适配性。
4. 学术研究：标准化指标与可复现结果提供可靠数据基础。

当前局限：推理能力依赖关键词匹配、短文本生成（≤50token）、单一CI硬件环境。 未来改进：引入复杂任务（多步推理、代码生成）、支持长文本评测、收集多硬件数据建立预测模型、集成更多推理后端（vLLM、TensorRT-LLM）。