llm-inference-bench：带实时仪表盘的 LLM 推理性能基准测试工具

在LLM部署普及的背景下，传统基准测试存在单一维度、难以反映实际生产表现的问题。llm-inference-bench应运而生，它是专为LLM推理解码吞吐设计的基准测试工具，支持SGLang和vLLM主流推理引擎，配备Rich TUI实时仪表盘，可测量不同并发级别和上下文长度下的token生成速度，通过矩阵化测试全面覆盖性能维度。

LLM推理性能评估涉及并发处理、上下文长度、预填充效率等多维度，现有工具存在场景单一、结果不直观的问题。llm-inference-bench的设计目标是通过矩阵式测试（并发级别与上下文长度组合）全面覆盖关键维度，并以可视化方式呈现结果，核心理念为"矩阵化测试+实时监控"。

工具提供三层测试：

1. 预填充测试：衡量输入处理速度，记录prompt_tokens与首token时间（TTFT），适用于RAG等长上下文场景；
2. 持续解码测试：默认模式，固定持续时间（30秒）保持并发饱和度，反映稳定负载下的真实吞吐；
3. 突发/端到端解码测试：可选模式，固定请求数量模拟突发流量，评估峰值响应特性。

基于Rich库的实时TUI仪表盘具有自适应布局：宽屏显示tok/s、TTFT/ITL等指标；硬件监控面板实时展示GPU温度、显存利用率、功耗等硬件指标及CPU状态；事件日志面板记录预热、就绪等事件，追踪测试过程。

支持SGLang和vLLM引擎，可自动检测类型，选择性抓取Prometheus/metrics端点获取内部指标；兼容OpenAI API格式的远程服务（如OpenRouter、Together AI），只需API密钥和模型名称即可测试云端服务。

内置智能功能：动态预热（优先调度器指标，回退到OpenAI接口）、KV缓存预算自动检测（跳过超容量测试）、有效并发检测（标记实际并发低于请求值）、JSON输出（结构化结果保存）、自动更新检查（启动时检测新版本）。

适用于推理服务选型比较、部署参数调优、容量规划、性能回归测试等场景；帮助团队确定开源模型部署的最佳批处理大小、KV缓存策略，为第三方API服务提供客观性能对比手段。

llm-inference-bench通过矩阵化测试、实时可视化仪表盘和主流引擎支持，提供全面的LLM推理性能评估方案。随着LLM应用深入，这类工具将在模型选型、系统优化和运维监控中发挥重要作用。