Predict-Then-Diffuse：为扩散语言模型实现计算预算自适应推理

意大利贝加莫大学研究团队提出Predict-Then-Diffuse框架，针对扩散语言模型（Diffusion LLMs）需预先确定响应长度的核心问题，通过预测响应长度优化推理效率，在显著降低计算成本的同时保持输出质量。该框架采用"先预测、后扩散"的思路，解决固定长度策略带来的资源浪费或输出截断问题。

扩散模型在图像领域成功后被应用于NLP，但Diffusion LLMs需生成前确定固定响应长度，与自回归模型（如GPT）逐token生成可自然停止不同。此约束导致权衡困境：预设过长会浪费计算在无意义填充token上；过短则输出截断需重试，造成延迟峰值和资源浪费。实际场景中查询长度多样，"一刀切"策略难以适应。

框架分为三步：1. 响应长度预测：使用模型无关的自适应响应长度预测器（AdaRLP）估计最优长度；2. 安全裕量机制：在预测值基础上加数据驱动的安全裕量，平衡效率与完整性；3. 扩散生成：用调整后的长度执行扩散生成，避免填充浪费和截断风险。

项目提供两个核心Jupyter Notebook：

• 分析模拟笔记本（ptd_analytical_simulation.ipynb）：训练AdaRLP预测器、评估性能、模拟验证理论边界、输出预测数据；
• 实证分析笔记本（ptd_empirical_profiling_comparison.ipynb）：测量FLOPs、GPU时间、显存使用，对比基线（原始预测）、回退（带安全裕量）、固定长度三种策略。 项目依赖通过pyproject.toml和uv管理，支持Python3.13+及NVIDIA GPU。

多数据集验证显示：

• 计算成本显著降低：相比默认机制减少FLOPs消耗，提升硬件利用率或降低成本；
• 输出质量稳定：精准预测和安全裕量确保内容准确完整；
• 鲁棒性强：适应真实世界查询的长尾分布（多数短、少数长）。

该技术对扩散语言模型部署意义重大：

• 云服务优化：帮助厂商优化资源分配，降低运营成本，提供可预测响应时间；
• 边缘设备：在资源受限环境高效运行模型；
• 实时应用：避免截断重试的延迟波动（如对话系统）；
• 绿色AI：减少计算能耗，符合可持续发展趋势。

当前局限：长度预测需历史数据，对全新查询预测准确性待提升；安全裕量依赖训练数据分布，场景变化需重新校准。未来方向：在线学习让预测器持续改进；多任务适配不同任务（代码生成、问答等）；生成中动态调整长度；结合投机解码等技术进一步提升效率。

Predict-Then-Diffuse框架通过"预测-执行"范式解决固定长度约束问题，是扩散语言模型实用化的关键进展。为关注LLM推理效率、成本控制或边缘部署的研究者和工程师提供参考实现与实验数据。随着技术成熟，此类计算预算优化技术将成为部署标准配置。