LLMBenchmark：面向短信生成场景的大语言模型综合评测平台

LLMBenchmark：面向短信生成场景的大语言模型综合评测平台

这是一个基于.NET 10的模块化大语言模型评测平台，专注于短信生成与改写任务的质量评估、Token估算准确性、延迟测量、确定性验证及LLM-as-a-Judge智能评判。

项目来源

• 原作者/维护者：guizama
• 来源平台：GitHub
• 原始链接：https://github.com/guizama/LLMBenchmark
• 发布时间：2026年6月

核心目标是帮助开发者和企业客观、系统地评估不同LLM在短信场景下的实际表现，解决现有通用评测工具难以提供细粒度场景化对比的痛点。

项目背景与定位

随着LLM在各行业的广泛应用，如何客观评估不同模型的实际表现成为核心挑战。现有评测工具往往过于通用，难以针对特定业务场景（如短信生成/改写）提供细粒度性能对比。

LLMBenchmark正是为解决这一痛点而生，它专注于短信生成与改写场景，通过结构化的场景驱动框架，帮助用户回答关键问题：哪个模型生成的短信质量最高？响应速度最快？成本效益最优？能最可靠保留占位符？

核心架构与技术栈

项目采用.NET 10 Minimal API架构，体现云原生设计理念，围绕“场景驱动”构建可配置、可扩展的流水线。

技术栈亮点

• .NET 10：利用最新版本高性能特性
• ASP.NET Core Minimal API：轻量级、高性能API端点
• PostgreSQL：持久化存储评测结果与验证数据
• Entity Framework Core：现代化数据访问层
• Docker：容器化部署支持
• LlmTornado：LLM交互抽象层
• SharpToken：Token计数与估算

评测流水线与双层验证体系

评测流水线

将每个任务分解为关键阶段：

1. 场景加载：以JSON格式场景文件为输入，每个场景代表具体短信操作任务（如生成、改写）。
2. 请求构建与Token估算：通过启发式规则或SharpToken库估算Token消耗，为成本分析提供基准。
3. 多提供商执行与延迟测量：支持GitHub Models，并预留OpenAI、Azure OpenAI等扩展接口，精确测量端到端延迟。
4. 结果持久化：将原始响应、Token用量、延迟数据存入PostgreSQL，形成可追溯的评测历史。

双层验证体系

• 确定性验证器：执行精确规则匹配（如占位符保留、链接格式、字符限制等）。
• LLM-as-a-Judge智能评判：评估语义保留度、语气一致性、语言质量、指令遵循度等无法硬规则量化的维度。

支持的短信操作类型与Token估算准确性

短信操作类型

平台定义七种核心操作：

操作类型	功能描述
Generate	根据提示生成全新短信
Rewrite	改写现有短信内容
Shorten	压缩短信长度以符合字符限制
Expand	扩展短信内容增加细节
Formalize	转换为正式语气
Casualize	转换为随意语气
FixGrammar	纠正语法错误

Token估算准确性

平台对比估算器预测值与提供商实际Token用量，帮助用户了解不同Tokenizer的误差范围，这对成本预算和容量规划至关重要（Token用量直接影响API调用成本）。

实际应用价值与未来演进方向

实际应用价值

对于短信服务平台、营销自动化系统或客服机器人开发者，LLMBenchmark提供可量化、可复现、可扩展的模型选型工具。它不仅回答“哪个模型更好”的定性问题，还提供定量洞察（如模型A比B响应快23%、成本低15%但占位符保留率低8%）。

未来方向

计划引入：

• 多提供商并行执行
• 可视化仪表板
• 成本报告生成
• 重试策略与容错
• 流式响应支持
• 提示版本管理
• 场景标签系统
• 历史趋势可视化