扩散大语言模型(dLLM)资源全景：从理论到实践的技术演进图谱

本文基于GitHub仓库awesome-dLLM-resources（作者Susha Pai和Xiaojun Ren，MIT协议，最后更新2026年5月23日），系统梳理dLLM领域的技术演进。dLLM作为生成式AI的新兴路线，采用"从噪声到数据"的逆向扩散过程，与自回归模型的逐token生成形成对比。本文涵盖模型架构、训练方法、推理优化、应用实践等核心方向，为研究者和开发者提供技术参考。原始链接：https://github.com/piesauce/awesome-dLLM-resources

自回归模型（如GPT、Llama）长期主导文本生成，但dLLM作为新路线正在崛起。核心差异：

• 生成方式：dLLM是全局迭代去噪（并行），AR是逐token顺序生成（串行）。
• 离散空间适配：dLLM需在token空间定义噪声（如随机掩码），解决连续扩散到离散语言的适配问题。
• 可控性：dLLM通过中间状态干预实现精细控制，AR依赖prompt工程。 对比表：

  维度	自回归模型(AR)	扩散模型(dLLM)
  生成方式	逐token顺序生成	全局迭代去噪
  并行性	低(依赖前序输出)	高(可并行去噪)
  生成步数	等于序列长度	固定/可变的扩散步数
  可控性	通过prompt工程	通过中间状态干预
  训练稳定性	相对成熟	仍在探索优化
  推理成本	与长度线性相关	与扩散步数相关

模型演进：

• Dream7B（2025年8月）：早期代表性dLLM，验证语言任务可行性。
• LLaDA系列：1.5引入VRPO优化对齐；2.0扩展到100B参数；UltraLLaDA支持128K上下文长度。 训练框架：DiRL（扩散强化学习，结合RL与扩散训练）、dLLM项目（简洁实现降低入门门槛）。 架构创新：
• 连续潜空间融合：Continuous Latent Diffusion Language Model（连续潜空间扩散+离散token映射）、BitLM（比特级连续扩散）。
• 因果性与位置编码：Causal Diffusion Language Models（引入因果结构）、ELF（嵌入空间语言流建模）。

解码策略：

• 自适应重掩码："Don't Settle Too Early"（自反性重掩码）、"Remask, Don't Replace"（精细化调整）、"When to Commit?"（动态块解码）。
• 推理干预：LogicDiff（逻辑引导去噪）、GeoBlock（块粒度优化）。 推理效率优化：
• 专用框架：dInfer（高效推理）、Streaming-dLLM（流式生成）。
• 架构优化：Fast-dLLM v2（块扩散减少步数）、Spiffy（无损推测解码加速）、dLLM-Cache（自适应缓存）。

强化学习适配：

• Beyond Mode-Seeking RL：轨迹平衡后训练（避免模式崩溃）。
• Principled RL for Diffusion LLMs：序列级RL框架（建模为MDP）。 蒸馏与自提升：Self-Distilled Trajectory-Aware Boltzmann Modeling（自蒸馏）、Fine-Tuning Masked Diffusion（可证明自我修正）。 量化与安全：
• 量化：Quant-dLLM（极端低位量化）、Quantization Meets dLLMs（系统性研究）、Dllmquant（专用量化）。
• 安全对齐：DiffGuard（安全性丢失与恢复）、Where to Start Alignment?（对齐策略探讨）、Jailbreaking Large Language Diffusion Models（安全缺陷分析）。

当前应用：

• 代码生成：全局去噪适合结构化输出。
• 数学推理：迭代修正助力复杂任务。
• 可控文本生成：中间状态干预实现细粒度控制。 未来方向：

1. 推理效率优化：更高效解码与硬件协同设计。
2. 多模态融合：文本与图像联合建模。
3. 实时交互：流式dLLM架构。
4. 领域特化：针对代码、数学等领域优化。

dLLM代表生成式AI的重要探索方向，虽成熟度和生态落后于AR模型，但在并行生成、可控性和理论优雅性上有独特优势。awesome-dLLM-resources提供从理论到实践的完整资源链条，助力研究者深入。建议访问原始仓库获取最新资源（https://github.com/piesauce/awesome-dLLM-resources）并关注更新，dLLM有望未来实现大规模落地。