InferenceX：开源持续推理基准测试平台，实时追踪大模型推理性能演进

SemiAnalysis推出的InferenceX是一个开源自动化基准测试平台，旨在解决传统定点基准测试过时快的问题。它持续追踪主流推理框架在最新硬件（如NVIDIA Blackwell、AMD MI355X等）上的实际性能，提供透明、可复现的数据，为AI基础设施决策提供支撑，核心价值是近乎实时捕捉推理性能跃升，打破信息滞后。

LLM推理性能提升依赖硬件创新（NVIDIA、AMD每年推新GPU）和软件优化（SGLang、vLLM等以天为单位更新）。传统静态基准测试结果易因软件更新失效，导致企业资源错配。InferenceX提供持续更新的性能指标，解决这一困境。

InferenceX覆盖：

• 推理框架：SGLang、vLLM、TensorRT-LLM
• 硬件：NVIDIA GB200 NVL72/B200/GB300 NVL72/H100、AMD MI355X（即将加入TPU v6e/v7等）
• 模型：Qwen3.5、DeepSeek系列等，贴近生产环境。

InferenceX从多维度评估：

• Tokens per Second：生成速度基础指标
• Throughput per Dollar：性能成本比，辅助硬件选型
• Tokens per Megawatt：能源效率
• Latency Distribution：P99延迟等尾部指标，保障服务稳定。

InferenceX获业界认可：

• OpenAI Peter Hoeschele：提供实时性能图景
• Together AI Tri Dao：展示软件优化实际效果
• vLLM Simon Mo：支持公开可复现基准 平台采用Apache 2.0协议，仅官方仓库结果权威，数据可追溯，用户可通过开源仪表板查看实时数据。NVIDIA、AMD等厂商及云服务商提供资源支持。

价值：

• 架构师：评估硬件-软件组合性价比
• ML工程师：参考最优推理配置
• 研究人员：标准化评估平台
• 云服务商：展示性能优势 未来：扩展硬件覆盖（TPU等），引入长上下文、多模态推理，跟进软件框架最新版本。

InferenceX通过持续测试、开源透明及生态合作，成为AI社区信赖的性能参考系。无论是企业规划基础设施还是研究者了解技术进展，都能获得洞察。随着更多硬件和框架加入，有望成为LLM推理领域的标准度量衡。