推测解码延迟模型：理解生产环境中LLM推理加速的实用框架

本文提出可解释的推测解码延迟模型，通过利特尔法则推断有效批大小，将请求延迟分解为预填充、草稿生成和验证的负载无关/相关组件，解释推测解码加速随服务器负载增加而减弱的原因，并为生产环境配置提供指导。该模型填补现有研究忽略系统动态特性的空白，帮助工程师科学配置参数提升LLM推理性能。

推测解码的理想与现实

推测解码通过小模型生成候选token、大模型验证实现加速，实验室环境效果显著，但生产环境因动态请求负载、批处理变化等因素，表现与预期差距大。

现有研究局限

现有研究集中于算法改进和孤立性能评估，假设固定批大小或忽略系统动态特性，结论难以直接推广到生产部署，导致工程师配置参数时面临保守或激进的困境。

基于利特尔法则的有效批大小推断

利用排队论利特尔法则（稳态下系统平均请求数=到达率×服务时间），从观测到的请求到达率和系统延迟反推有效批大小，适用于各种服务架构。

延迟分解

将请求延迟分解为预填充、草稿生成、验证三个阶段，每个阶段再分为负载无关（基础计算成本）和负载相关（资源竞争、调度开销、回退成本等）组件，解释加速随负载减弱的原因：高负载下负载相关组件主导，而推测解码主要优化负载无关成本。

实验验证

使用vLLM框架验证，涵盖模型规模、序列长度、请求率、草稿长度、接受概率等维度，结果显示模型预测误差在可接受范围，成功解释最优草稿长度、模型大小比例非线性影响等现象。

MoE模型扩展

将框架扩展到混合专家模型，引入专家激活概率和有效服务成本概念，分析表明推测解码收益与接受率、专家负载均衡程度密切相关，专家分布不均会降低加速效果。

研究意义

建立系统化思维方式分析推测解码在生产环境的行为，通过分解复杂系统行为为可解释组件，帮助工程师理解现象并做出明智配置决策。

未来展望

扩展到树形推测、自适应推测等复杂策略；考虑异构硬件环境；结合在线学习实现自动化配置优化。

1. 动态草稿长度调整：根据接受率和当前负载实时调整，使用模型提供的最优公式。
2. 负载感知模型选择：轻负载用小草稿器，重负载保守配置验证器-草稿器比例。
3. 容量规划：预测不同负载下的系统容量需求，辅助硬件投资决策。
4. 性能监控：将有效批大小、各阶段延迟占比纳入监控体系，及时发现异常。