Prefill 密集型 LLM 推理自动调优：heavy-prefill-bench 基准测试套件解析

在长上下文大语言模型（LLM）推理中，Prefill阶段（处理输入提示词）常成为性能瓶颈。本文解析开源基准测试套件heavy-prefill-bench，其通过自动化参数扫描与成本归一化指标，帮助优化长上下文LLM推理的吞吐效率与性价比，支持SGLang等框架，助力团队找到硬件、模型与配置的最优组合。

现代LLM应用（如代码补全、文档问答、RAG）具有长输入短输出、批处理、成本敏感等特征。传统基准多关注短上下文或均衡输入输出比例，难以反映真实长上下文生产负载，heavy-prefill-bench正是为填补这一空白而设计。

自动调优器特性

• 参数扫描：针对chunked_prefill_size参数系统性扫描，寻找最优吞吐点；
• 零HTTP开销：使用SGLang内置模块，规避网络层干扰；
• GPU自动检测：通过nvidia-smi识别型号并嵌入数据，确保可追溯性。

配置体系

含工作负载定义（输入/输出长度、请求数等）、模型与量化策略、硬件成本追踪（GPU小时成本等）。

关键指标

• 请求级：requests_per_sec等；
• Token级：input_tokens_per_sec等；
• 成本效率：tokens_per_dollar（跨硬件/提供商比较核心指标）。

消费级GPU内存墙

RTX4090（24GB）运行Qwen2.5-7B（bf16）时，chunked_prefill_size超8192触发OOM，容量成约束。

甜点参数差异

• Qwen2.5-7B/14B（bf16）在H100上，chunk越大吞吐越高，32768最优；
• Qwen2.5-32B（fp8）则相反，2048为甜点。

成本效率对比

RTX4090运行Phi-4-mini可达约5400万tokens/美元，H100运行Qwen2.5-7B约1500万tokens/美元，消费级GPU在小模型场景更具性价比。

• 成本追踪：记录完整定价信息（提供商、实例类型等），避免比较陷阱；
• 负载适配：用代表性工作负载配置扫描，而非通用基准；
• OOM防范：保留10-15%显存余量，避免生产中断；
• 量化权衡：fp8降低显存但可能改变最优chunk，需实际测试。

扩展支持

• 框架：预留vLLM、TensorRT-LLM集成接口；
• 输出：CSV/JSONL格式，便于数据分析；
• 元数据：完整配置与定价写入JSON，支持趋势分析。

结语

heavy-prefill-bench推动LLM推理优化从经验驱动转向数据驱动，通过系统化扫描与成本归一化，成为长上下文应用生产调优的必备工具。