EGSPO：为扩散语言模型注入强化学习的新范式

德州农工大学团队提出EGSPO-SA（Entropy-Guided Stepwise Policy Optimization with Stepwise Advantages）框架，通过熵引导的步骤选择和轻量化优势估计器，解决扩散语言模型在RL微调中的核心难题。该框架在代码生成、逻辑推理和数学推理等核心基准测试中取得显著突破，并已开源实现代码及模型检查点。

扩散语言模型（dLLM）通过迭代去噪生成序列，与自回归模型（如GPT系列）的生成方式差异显著。传统序列级RL方法假设一次性生成完整输出，难以直接应用于dLLM的多步去噪过程，面临三大挑战：

1. 状态空间爆炸：去噪轨迹形成高维状态序列，传统RL方法遭遇维度灾难；
2. 信用分配困难：最终输出质量依赖所有步骤协同，难以确定单步贡献；
3. 计算成本高昂：每步训练单独价值模型不可行。这些问题制约了dLLM的性能提升。

EGSPO-SA框架针对扩散模型RL微调痛点，提出三大创新：

1. 扩散MDP形式化：将去噪过程转化为有限时域马尔可夫决策过程（Finite-Horizon MDP），推导出可跨步骤分解的策略梯度目标，聚焦关键步骤；
2. 熵引导的步骤选择：基于熵识别高信息量步骤（模型不确定性高的决策点），集中计算资源与学习信号；
3. 轻量化步骤级优势估计器：无需额外价值模型即可计算单步优势值，大幅降低训练成本。

EGSPO-SA在多个挑战性任务中验证了有效性：

• 代码生成：生成语法正确、功能完善的代码片段；
• 逻辑推理：擅长复杂逻辑链条构建与验证；
• 数学推理：在GSM8K等基准上展现逐步推理与精确计算能力。团队已在HuggingFace开源模型检查点（fatemehdoudi97/egspo-llada-8b）及详细使用说明。

项目代码结构清晰，支持多节点分布式训练：

• 核心训练逻辑：egspo/train.sh；
• 评估流程：先通过eval/eval_checkpoints.sh生成补全，再用eval/get_and_save_metrics.py计算指标；
• 环境配置：提供environment.yml管理依赖，README说明关键变量（如WANDB_API_KEY、HF_HOME）；
• 基于开源库：实现基于dllm-reasoning/d1代码库，体现学术协作传统。

EGSPO-SA标志着扩散语言模型RL微调领域的重要进展，其技术思想（熵引导步骤选择、轻量化优势估计）或启发多模态生成、视频生成等迭代过程领域的研究。对实践者而言，该框架提供立即可用的RL微调工具，有望成为扩散LLM RL微调的标准工具之一。