SpecBlock：结合路径依赖与低成本草拟的块迭代式推测解码

标题：SpecBlock：结合路径依赖与低成本草拟的块迭代式推测解码

本文提出SpecBlock框架，旨在解决推测解码技术中自回归草拟器成本高与并行草拟器拒绝率高的两难困境。通过块迭代草拟机制和动态树构建策略，该框架在保持路径依赖性的同时显著降低草拟成本。实验显示，相比EAGLE-3，SpecBlock实现8-13%的加速提升，且草拟成本仅为44-52%；启用成本感知适应后，优势进一步扩大至11-19%。

推测解码的两难困境

推测解码是加速大语言模型推理的重要技术，通过草拟候选续写树并单次验证降低生成延迟。然而现有草拟器面临权衡：自回归草拟器（如EAGLE-3）保持路径依赖，但需为树每层调用草拟器，成本高；并行草拟器减少调用次数，但位置预测缺乏相互感知，验证拒绝率上升。如何在保持路径依赖的同时降低草拟成本，是当前关键瓶颈。

SpecBlock的块迭代设计与路径依赖传递

SpecBlock核心创新为"块迭代"草拟机制：每个草拟器前向传播产生K个相互依赖的位置构成"块"，树通过块扩展生长而非逐token。块内保持位置依赖（类似自回归优势），块级迭代限制调用次数（类似并行优势）。

为维持块间路径依赖，SpecBlock采用双重传递机制：块内用层间偏移传递前一位置隐藏状态到各解码层；块间允许新块从上一块任意位置开始，继承隐藏状态延续路径，确保路径连贯性与高接受率。

动态树构建与成本感知适应

SpecBlock引入协同训练的排序头替代固定top-k结构，根据位置接受概率动态分配分支预算，优先资源给高接受概率位置。

此外，部署成本感知bandit机制：利用验证器免费反馈，仅当预期吞吐量增益超过更新成本时更新草拟器，实现运行环境自适应优化。

训练优化：有效前缀掩码策略

训练阶段，SpecBlock采用有效前缀掩码策略：较早位置预测错误时，自动屏蔽后续位置损失计算。此设计避免草拟器在推理中不会产生的错误前缀上训练，提升训练效率与模型质量。

实验结果与性能对比

实验表明，SpecBlock相比EAGLE-3平均加速比提升8-13%，草拟成本仅为后者44-52%；启用成本感知适应后，优势扩大至11-19%。结果验证块迭代设计有效性，动态树构建与成本感知适应进一步挖掘优化空间。

对LLM推理优化的启示

SpecBlock成功证明：精细架构设计可在冲突优化目标间找到平衡，块迭代概念或延伸至其他依赖与并行权衡场景。

成本感知适应机制展示部署时动态优化潜力，随LLM应用多样化，自适应系统价值将日益凸显。

局限与未来方向

当前方案局限：块大小选择对性能影响大，最优值因任务/模型而异；大规模场景下动态树构建复杂度可能成瓶颈。未来可探索自适应块大小策略与更高效动态树算法。