AIPerf：生成式AI推理性能的全面评测工具

AIPerf是NVIDIA开源的生成式AI模型性能基准测试工具，支持多进程架构、多种端点协议和丰富的评测模式，可精准评估大模型推理性能，提供详细的性能指标分析以帮助开发者优化模型部署策略。

随着生成式AI技术快速发展，LLM部署优化成为核心挑战，但传统性能测试工具无法全面覆盖生成式AI特有指标（如首token延迟、流式输出吞吐量、并发处理能力等）。NVIDIA推出AIPerf以解决此问题，提供专为生成式AI设计的综合性能评测能力。

• 多进程架构：9个独立服务通过ZeroMQ通信，实现高并发测试与松耦合；
• 三种UI模式：Dashboard（实时TUI监控）、Simple（进度条）、None（无头模式，适合自动化）；
• 多种评测模式：并发、请求速率、Trace重放等；
• 端点支持：OpenAI兼容、NVIDIA NIM、Hugging Face TGI；
• 数据集：内置ShareGPT等公开数据集，支持自定义数据。

快速入门：

1. 启动Ollama服务并拉取模型；
2. 安装AIPerf并运行基准测试（示例命令含模型、流式、端点类型等参数）。 关键指标：TTFT（首token延迟）、Request Latency（完整请求延迟）、Output Token Throughput（输出吞吐量）等，覆盖推理性能核心维度。

• 流量模拟：支持恒定速率、泊松/伽马分布等真实流量模式；
• 预热阶段：消除冷启动影响；
• 用户中心时序：评估长对话场景下KV缓存性能；
• 多URL负载均衡：测试分布式推理集群；
• 请求取消与超时：评估系统鲁棒性。

• 模型选型：相同条件下公平对比不同模型；
• 部署优化：通过指标识别瓶颈（如TTFT高需优化预填充）；
• 容量规划：压力测试确定系统容量上限；
• 回归测试：确保版本更新不引入性能退化。

AIPerf是生成式AI性能评测的专业工具，适用于研发与生产场景。未来将持续迭代，增加对新模型、协议和评测维度的支持，为LLM部署优化团队提供可靠支撑。