how-fast：精准的LLM推理性能基准测试工具

how-fast是一款专注于大语言模型推理性能深度测量的开源工具，支持延迟、吞吐量、GPU利用率监控及网关开销隔离分析，帮助开发者精确识别系统瓶颈。它填补了LLM推理性能测试工具的关键空白，为优化模型服务提供真实数据支持。

传统HTTP压测工具（如wrk、ab）无法区分LLM推理特有的首token延迟（TTFT）与完整响应延迟，也无法监控GPU利用率或隔离网关层与推理引擎的性能损耗。实际生产中，请求缓慢可能源于负载均衡、网关、推理引擎或GPU争用等多个环节，缺乏精细测量会导致优化盲目。

how-fast的核心理念是隔离：通过双路径测试（网关路径与直连路径）对比延迟差异，量化网关层开销；内置gpu_monitor.py采集GPU利用率和显存数据，无需额外文件复制。支持两种负载模式：并发模式（N个并行线程，寻找吞吐量上限）和QPS模式（泊松分布请求到达，测试真实流量下的SLO合规性）。

how-fast提供完整CLI工作流：定义实验（YAML配置模型、GPU类型等）→生成启动脚本→部署到GPU服务器→验证连通性→执行基准测试→测量网关开销。支持参数扫描（sweep命令）寻找延迟-吞吐量拐点，以及SLO验证（通过slos.yaml定义阈值，自动生成合规报告）。

每次测试生成requests.csv（请求详情）、gpu_metrics.csv（GPU数据）、summary.json（聚合指标）、slo_report.json（合规状态）等文件。项目架构轻量易扩展，采用Python异步IO实现高并发，Pydantic验证配置，numpy聚合指标，核心文件包括cli.py（入口）、bench.py（负载引擎）、client.py（HTTP客户端）等。

how-fast适用于网关选型评估、配置优化验证、容量规划、CI/CD性能回归测试、SLO合规证明等场景。它不是通用HTTP压测工具，而是LLM推理场景的精密仪器，通过精确的性能可见性助力AI基础设施优化。