章节 01
InferBench:跨平台LLM推理引擎基准测试工具核心介绍
InferBench核心信息
- 工具名称: InferBench
- 定位: 跨平台LLM推理引擎基准测试工具
- 核心功能: 支持本地llama.cpp与云端API的性能对比分析
- 技术基础: 基于Python Panel库开发图形用户界面
- 来源: GitHub项目(作者JoniMartin27,发布时间2026-06-01,链接:https://github.com/JoniMartin27/inferbench)
- 价值: 为LLM部署方案选型提供数据支撑