llada.cpp: 手机端扩散大模型推理的NPU加速方案

llada.cpp是首个专为手机NPU设计的扩散大语言模型（dLLM）推理框架，通过多块推测解码、双路径渐进修正和交换优化内存运行时三项核心技术，解决了扩散LLM在移动设备上的推理困境，实现LLaDA-8B模型17-42倍的生成延迟降低，同时保持生成质量。

扩散语言模型（dLLM）通过并行去噪生成多个token理论上可降低延迟，但在移动设备面临三大障碍：

1. 工作负载萎缩：块级解码后期有效计算量减少，NPU并行能力未充分利用；
2. token修正复杂性：token修订导致KV缓存复用困难，频繁刷新增加开销；
3. 内存地址空间限制：移动NPU可访问地址有限，数据重映射和传输开销大。

多块推测解码

当前块解码后期工作量减少时，主动推测未来块token并填充计算流水线，充分利用NPU并行能力，平滑工作负载曲线。

双路径渐进修正

已提交token保持可修订状态直至稳定，不稳定token刷新通过CPU侧完成，实现CPU与NPU协同：NPU专注矩阵运算，CPU处理修正逻辑，并行流水线提升效率。

交换优化内存运行时

紧凑管理NPU可见地址布局，数据暂存与NPU计算重叠执行，减少数据重映射和传输开销。

研究团队在多种硬件平台和dLLM工作负载评估llada.cpp，结果显示：启用前缀KV缓存复用后，LLaDA-8B模型生成延迟降低17-42倍，同时保持生成质量。

技术意义：展示了扩散模型架构与移动NPU硬件特性的深度协同设计，三项技术为移动推理的计算调度、异构协同、内存管理提供可复用模式。

未来展望：挖掘移动NPU并行潜力（低功耗前提下）、将优化策略推广到更多模型架构，为手机端大模型部署提供方向。

• 问题：扩散LLM在移动NPU推理受限于工作负载萎缩、token修正复杂、内存地址限制；
• 方案：llada.cpp通过三项核心技术解决上述问题；
• 成果：LLaDA-8B模型延迟降低17-42倍，保持生成质量；
• 价值：首个NPU感知的移动大模型推理完整解决方案。

• 原作者/维护者：论文作者团队（arXiv:2606.13740v1）；
• 来源平台：arXiv；
• 原文标题：Efficient On-Device Diffusion LLM Inference with Mobile NPU；
• 原文链接：http://arxiv.org/abs/2606.13740v1；
• 发布时间：2026年6月11日。