FlexDraft：通过注意力微调和奖励引导校准实现灵活的推测解码

FlexDraft是一种无损推测解码框架，针对传统推测解码方法在大批量场景下的性能崩溃问题，通过注意力微调、奖励Token引导校准和动态解码策略切换三大关键设计，实现对变化批量大小的灵活适应，在不牺牲输出质量的前提下提升LLM推理效率。

大型语言模型推理加速中，推测解码通过草稿模型生成候选Token再由目标模型并行验证以摊销计算开销，但传统顺序推测解码存在草稿生成与验证相互等待、内存访问开销增加的瓶颈；并行推测解码虽试图解决此问题，但现有方法要么需昂贵预训练且质量下降，要么接受率低，且奖励Token和接受长度的不确定性导致大批量场景下吞吐量增益急剧崩溃。

FlexDraft采用注意力微调策略：仅对目标模型最后几层的注意力投影层进行微调，且只在掩码Token上训练，同时冻结自回归路径。此设计保留目标模型原始分布特性，赋予生成高质量草稿能力，训练成本低，块级扩散草稿方法平衡效率与效果。

针对并行推测解码中奖励Token不确定性导致的草稿与验证不匹配问题，FlexDraft引入轻量级MLP校准网络，以已解析的奖励Token为条件对草稿logits进行校准，有效缓解匹配问题，提高接受率且不显著增加推理开销。

FlexDraft的动态策略切换机制根据当前批次大小自动选择最优解码策略：小批量场景采用并行草稿-验证模式最大化吞吐量；大批量场景切换到顺序草稿-验证模式避免性能崩溃；还根据草稿置信度动态调整验证长度，消除冗余计算，确保不同负载下高效推理。

相比量化、剪枝等模型压缩技术，FlexDraft完全无损（输出分布与原始模型一致）；相比其他推测解码方法，其在大批量场景下稳定性更好（通过奖励引导校准和动态策略切换实现）；类似CPU领域投机执行，代表AI推理领域智能调度计算资源的尝试。

FlexDraft证明精巧架构设计可实现高效无损推测解码；注意力微调策略为模型适配提供新思路（无需全量微调仅调整关键组件）；动态切换机制适配生产环境动态负载，对构建高吞吐、低延迟推理服务意义重大。

FlexDraft框架具有扩展性：未来可探索更复杂校准网络设计，或应用到其他生成任务；动态策略切换机制可启发其他自适应系统设计；随着多模态模型和Agent系统兴起，此类高效推理工作将为AI基础设施提供重要技术积累。