Hybrid Verified Decoding: 面向Agent工作流的投机解码加速新范式

本文介绍Hybrid Verified Decoding（混合验证解码），一种针对Agent工作流场景的投机解码优化方法。它通过学习预测缓存草稿的预期接受长度，动态选择验证策略（缓存草稿或模型草稿器），解决了无参数草稿收益不确定的问题。实验显示，该方法在Agent工作流场景下相比EAGLE3实现2.73倍平均加速，为LLM推理延迟优化提供了新路径。

LLM推理的核心瓶颈在于自回归解码的串行特性，导致生成长文本时延迟线性增长。投机解码通过"草稿+验证"打破串行，但现有方案存在局限：模型驱动草稿需额外训练，无参数草稿（如缓存匹配）在Agent工作流中收益不确定——缓存草稿可能后续不匹配，导致验证开销浪费。

Hybrid Verified Decoding的核心是引入收益预测器，动态选择验证策略：当缓存草稿预期接受长度高于阈值时验证缓存，否则切换到模型草稿器。收益预测器通过监督学习训练，输入特征包括缓存匹配长度、上下文语义特征、历史验证统计，推理开销可忽略。

在3个主流LLM和16个数据集评测中，Hybrid Verified Decoding在Agent工作流场景表现突出：相比EAGLE3平均加速2.73倍，所有设置均优于EAGLE3，最高加速超3倍；且优势在不同规模模型上保持一致，小型模型收益空间更大，大型模型资源利用更高效。

分析揭示：1. Agent工作流中的固定提示结构（如指令模板）创造大量缓存机会；2. 高收益缓存草稿集中在特定区域，易被预测器识别；3. 动态选择草稿源比固定策略更有效，能实时适应生成上下文。

启示：1. 运行时草稿选择是投机解码新前沿；2. 轻量级预测器即使中等准确度也能显著提升；3. 场景特化优化空间大。部署考量：需维护缓存和模型草稿器，预测器需定期重训适应分布漂移，注意极高吞吐下的累积开销。

Hybrid Verified Decoding代表投机解码从单一优化向智能调度的重要一步，为Agent工作流（LLM应用增长最快领域）的推理延迟优化提供可行路径，运行时草稿选择值得深入探索。