Mistletoe：针对推测解码的隐蔽加速崩溃攻击

Mistletoe是一种针对推测解码的新型隐蔽攻击方法，通过利用起草器与目标模型的不完美匹配，在保持输出质量的同时显著降低草稿令牌接受率，从而崩溃推理加速效果。本文将详细介绍该攻击的背景、方法、效果及安全启示。

推测解码是LLM推理加速的主流方案，核心是通过轻量级起草器并行生成候选令牌，目标模型验证，效率取决于平均接受长度τ。其隐藏脆弱性在于起草器与目标模型的不完美匹配：微小扰动可保持目标模型输出不变，同时大幅降低草稿令牌接受率，攻击隐蔽性强。

Mistletoe采用双目标优化框架：目标1是降解起草器-目标模型一致性（减少草稿接受概率），目标2是保持语义一致性（输出分布不变）。为解决目标冲突，引入零空间投影机制，将降解梯度投影到语义保持方向的零空间，实现隐形攻击效果。

实验在多种推测解码系统上评估，关键结果包括：平均接受长度τ大幅下降接近1，加速效果崩溃；吞吐量显著降低至无推测解码水平；输出质量（困惑度）与攻击前基本持平，未受影响。

Mistletoe揭示推测解码存在机制级攻击面（超越传统输出鲁棒性）。防御建议：加固接受机制以提升扰动鲁棒性；建立接受率异常实时监控；开发检测缓解防御机制；设计推测解码系统时考虑对抗场景。

当前局限：假设攻击者可操控输入、主要针对基于模型的推测解码、防御机制未充分探索。未来方向：开发针对Mistletoe的防御机制；探索对其他推理加速技术的攻击可能性；设计更鲁棒的推测解码架构。

Mistletoe攻击揭示了推测解码技术的关键安全漏洞，通过模型不匹配隐蔽崩溃加速效果，具有重要安全意义，为设计更鲁棒的LLM推理系统提供了新的研究方向。