InferenceX Dashboard：开源持续推理基准测试的可视化分析平台

本文介绍InferenceX Dashboard，一个基于Next.js构建的大模型推理性能基准测试可视化平台。该平台通过夜间自动化测试，在主流硬件上对热门模型进行全面性能扫描，提供吞吐量与延迟的完整分析视图，解决传统基准测试更新滞后、配置不切实际等问题，帮助开发者和企业做出明智的推理部署决策。

LLM推理性能分析是AI服务核心，但准确评估面临诸多困难：

1. 软件迭代快：推理框架（如vLLM、TensorRT-LLM）和模型版本更新迅速，静态测试结果易过时；
2. 配置游戏化：公开测试结果常来自特化配置，生产环境难复现；
3. 缺乏全面视角：传统测试仅关注单一指标，忽略吞吐量与延迟的权衡及多维度配置影响。 InferenceX通过持续自动化测试、多维度扫描和开源数据试图解决这些问题。

InferenceX遵循五大设计原则：

• 持续更新：每晚运行测试，使用最新软件和模型版本；
• 全面扫描：对每个模型-硬件组合，扫描不同张量并行度和并发请求数；
• 真实场景：配置确保生产环境普遍适用，不针对特定测试优化；
• 开源透明：代码和数据完全开源，欢迎社区验证；
• 吞吐-延迟全景：提供完整关系图，而非孤立指标点。

前端技术栈

框架：Next.js16（App Router）、TypeScript、Tailwind CSS4、shadcn/ui、D3.js、React Query

后端与数据层

数据库：Neon PostgreSQL（读写分离）、API：Next.js API Routes、部署：Vercel、测试：Cypress+Vitest

数据流

Neon PostgreSQL → API Routes → React Query → Context Providers → D3.js Charts

monorepo结构

packages/下含app（前端）、constants（共享常量）、db（数据库层）等模块。

测试频率与覆盖

• 每晚自动运行；覆盖NVIDIA、AMD等主流GPU；测试DeepSeek、Llama等热门模型；使用最新框架版本。

多维度参数扫描

对每个模型-硬件组合，扫描张量并行度、最大并发请求数，生成吞吐量vs延迟完整曲线。

配置普适性

确保测试配置在生产环境普遍适用，避免实验室数据与生产表现的鸿沟。

InferenceX通过D3.js提供丰富交互可视化：

1. 吞吐量-延迟曲线：展示不同并发负载下的性能权衡；
2. 硬件对比：直观对比同一模型在不同GPU的表现；
3. 模型对比：并行对比多模型性能与能力；
4. 配置优化建议：基于数据推荐最佳张量并行度、并发数等。

InferenceX为以下场景提供价值：

1. 硬件选型：对比不同GPU性价比，支持采购决策；
2. 模型部署优化：快速找到适合延迟/吞吐量要求的配置；
3. 性能趋势追踪：记录框架和模型性能演进轨迹；
4. 框架选型：参考跨框架对比数据，了解场景优劣。

开源生态

InferenceX完全开源，包括仪表板代码、基准测试框架、历史数据。社区可贡献：提交测试配置、改进可视化、报告异常、分享分析。

总结

InferenceX通过持续自动化测试和开源透明数据，解决传统基准测试问题，帮助开发者和企业做出明智部署决策，有望成为LLM推理领域权威性能参考。