Verbodus：本地大语言模型性能基准测试的轻量级工具

Verbodus是一款基于Tauri和Vue.js开发的桌面应用，专门用于实时基准测试大语言模型的关键性能指标（包括首token延迟、生成速度和吞吐量），帮助用户客观评估本地部署LLM的性能，优化部署决策。

随着开源大语言模型爆发式增长，越来越多开发者选择本地运行LLM（如Ollama、LM Studio、vLLM），但面临三大挑战：如何客观评估不同模型性能？如何平衡延迟与吞吐量？如何比较不同硬件配置表现？Verbodus正是为解决这些问题设计的轻量桌面应用。

Verbodus追踪三个业界标准指标，并有明确分级：

1. 首Token时间（TTFT）：模型处理提示生成第一个token的时间，低于250ms优秀，250-800ms良好，超800ms较慢；
2. 每Token时间（TPOT）：后续token平均生成速度，低于22ms/Token为优秀（每秒超45token）；
3. 吞吐量（TPS）：每秒生成token总数，通过实时图表展示波动与瓶颈。

Verbodus采用现代化技术栈：前端用Vue3组合式API+原生CSS实现玻璃拟态设计，Chart.js支持实时数据流可视化；底层用Tauri v2（Rust后端+原生WebView），相比Electron大幅减少内存占用和启动时间，适合长时间基准测试。

Verbodus提供多种测试模式：

• 性能游乐场：自定义提示词，实时查看响应流与遥测统计；
• 引擎对比仪表盘：同时比较最多4次历史测试，双轴柱状图直观对比TTFT和平均TPS；
• 元数据检查器：展示每次测试完整参数与token分解信息。

API配置：支持兼容OpenAI API的端点（本地/远程），预置Ollama（11434）、LM Studio（1234）、vLLM（8000）默认配置，允许自定义API地址、模型、温度、最大token等，支持远程服务API密钥输入。 数据持久化：所有测试历史和配置自动保存在浏览器原生存储，关闭应用不丢失，便于长期追踪分析。

Verbodus填补了本地LLM部署生态的空白，是连接模型能力与实际应用体验的桥梁。对于重视LLM性能优化的开发者，建议将其加入工具箱。