多令牌预测推理加速：跨引擎跨GPU的A/B测试基准研究

本文介绍了一个基于Modal云平台的可复现基准测试框架，用于评估多令牌预测（MTP）推理加速方法在小型语言模型上的效果，支持transformers和vLLM双引擎在A10/A100/H100/B200等多种GPU上的对比测试。核心发现是MTP的性能与GPU类型、推理引擎、提示词类型高度相关，不存在简单的“有效”或“无效”结论，需结合具体情境判断。

多令牌预测（MTP）是一种投机解码技术，核心思想是在生成每个令牌时预测多个后续令牌，若准确则减少解码步骤提升吞吐量，但需额外计算，若准确率低则增加开销。业界对其效果存在争议：一方认为可显著加速，另一方则认为收益有限或性能下降。本项目旨在通过系统化A/B测试揭示MTP性能与各因素的依赖关系。

项目采用Modal云平台构建可复现基准框架，测试对象为Google Gemma 4 E2B-it模型+草稿模型；对比transformers（基础推理）和vLLM v0.21.0（高吞吐优化）双引擎；覆盖A10、A100-80GB、H100、B200（注：原文可能笔误）等GPU；设计通用、代码、结构化三类提示词场景，以验证不同任务对MTP收益的影响。

项目核心结论：MTP性能比率依赖引擎、GPU、提示词组合。引擎差异：vLLM的PagedAttention与MTP内存访问模式交互复杂，transformers实现更直接；GPU差异：高性能GPU可快速完成额外计算，收益更明显；提示词差异：代码/结构化场景预测准确率高，MTP收益显著，通用场景收益有限。

项目模块化设计，主要模块为multi-token-prediction/，未来计划添加dflash/等优化。使用步骤：克隆仓库→配置HF_TOKEN和MODEL_API_KEY→uv同步依赖→Modal初始化→运行指定GPU的A/B测试。结果保存在metrics/runs/目录，每个测试有时间戳标记和可追溯的JSON文件，确保可复现性。

本项目并非通用服务框架（硬编码Gemma模型，测试其他模型需修改deploy/modal/*.py）；不声称投机解码普遍有效，核心结论是效果高度依赖具体情境。

应用建议：代码生成、结构化输出场景适合MTP（预测准确率高）；开放式文本生成收益有限；硬件选型可参考跨GPU对比数据；引擎选择：vLLM吞吐性能好，transformers更稳定易调试。

本项目通过严谨A/B测试揭示MTP的真实性能特征，核心贡献在于证明其效果的情境依赖性，这种 nuanced 结论对工程决策更有价值。在AI技术迭代中，实证与可复现性研究尤为珍贵，提醒我们审慎对待新技术，通过实验验证假设而非盲目追随 hype。