MTP-D：自蒸馏提升多token预测，推理加速220%

MTP-D通过自蒸馏方法将多token预测头接受率提升7.5%，循环扩展策略相比单头MTP实现220.4%的推理加速，为LLM推理效率优化提供新思路。

随着大语言模型规模扩大，推理效率成为关键瓶颈。多token预测（MTP）通过并行预测多个未来token来加速推理，但面临两大挑战：

1. MTP头接受率有限
2. 多个MTP头联合训练困难

核心创新：简单高效的自蒸馏方法

• 最小额外训练成本
• MTP头接受率提升7.5%
• 最大程度保持主头性能

引入looped extension策略：

• 经济高效地扩展MTP头
• 相比单头MTP实现220.4%推理加速

在七个基准测试上系统探索：

• 蒸馏策略的关键洞察
• MTP的可扩展性潜力

这项工作有效提升了MTP头的性能和推理效率，推动MTP在LLM中的实际应用。