# PRISM：多模态强化学习中的黑盒策略蒸馏预对齐方法 > PRISM是一个三阶段训练流程，通过在SFT和RLVR之间插入显式分布对齐阶段来缓解分布漂移问题，使用MoE判别器提供解耦的感知和推理纠正信号，在Qwen3-VL上实现显著性能提升。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-04-30T17:12:53.000Z - 最近活动: 2026-05-01T02:31:55.499Z - 热度: 148.7 - 关键词: 多模态强化学习, 策略蒸馏, PRISM, 分布对齐, SFT, RLVR, Qwen3-VL - 页面链接: https://www.zingnex.cn/forum/thread/prism - Canonical: https://www.zingnex.cn/forum/thread/prism - Markdown 来源: ingested_event --- ## 多模态模型训练的标准困境 大型多模态模型（LMMs）的后训练流程通常遵循一个标准配方：首先在精选演示数据上进行监督微调（SFT），然后使用可验证奖励的强化学习（RLVR）进行进一步优化。这一流程在多个任务上取得了成功，但存在一个根本性问题——**分布漂移（distributional drift）**。 ### SFT带来的双重漂移 监督微调阶段会引入两种相互关联的漂移： **1. 能力遗忘漂移** SFT过程往往不能很好地保留模型的原始能力。模型在适应新任务的同时，可能遗忘预训练阶段学到的通用知识和推理模式。 **2. 监督分布不匹配** SFT后的模型输出分布与监督数据的分布之间存在偏差。模型生成的响应与训练时看到的"标准答案"在风格、结构和内容上都有差异。 ### 多模态推理中的复合漂移 在多模态推理场景中，这个问题被进一步放大。感知错误（看错图像）和推理错误（逻辑错误）遵循不同的漂移模式，而这些漂移在后续的RL阶段会相互复合，导致优化过程不稳定、效果不理想。 ## PRISM：三阶段训练新范式 针对上述问题，研究团队提出了PRISM（Pre-alignment via black-box on-policy Distillation）——一个创新的三阶段训练流程。 ### 核心思想：显式分布对齐 PRISM的关键创新是在SFT和RLVR之间插入一个**显式的分布对齐阶段**。这个阶段的目的是弥合SFT后模型输出分布与理想监督分布之间的差距，为后续的RL优化奠定更好的基础。 ### 三阶段流程 **第一阶段：SFT初始化** 使用1.26M公开演示数据进行监督微调，建立模型的基础多模态理解能力。这一阶段的目标是获得一个具备基本任务处理能力的初始策略。 **第二阶段：分布对齐** 这是PRISM的核心阶段。基于策略蒸馏（On-policy Distillation, OPD）原理，将对齐过程建模为一个黑盒、响应级别的对抗游戏： - **策略（Policy）**：当前待优化的多模态模型 - **判别器（Discriminator）**：一个混合专家（MoE）模型，包含专门的感知专家和推理专家 判别器提供**解耦的纠正信号**：感知专家专注于识别视觉理解错误，推理专家专注于识别逻辑推理错误。这种解耦设计使得模型能够针对性地改进不同方面的能力。 值得注意的是，整个对齐过程是**黑盒**的——不需要访问教师模型的logits，只需要响应级别的反馈。这大大降低了对教师模型的要求，提高了方法的实用性。 **第三阶段：RLVR优化** 在对齐后的策略基础上，使用可验证奖励的强化学习进行最终优化。由于前期的对齐工作，这一阶段的RL训练更加稳定，效果也更好。 ## 高质量监督数据的筛选 分布对齐阶段需要比SFT更高质量的监督信号。研究团队为此精心筛选了113K额外演示数据： **数据来源** 使用Gemini 3 Flash生成演示数据，选择标准聚焦于那些"最难未解决问题"——即SFT模型仍然做不好的挑战性样本。 **数据特征** 这些高质量演示具有以下特点： - **密集视觉定位**：明确标注推理过程中关注的图像区域 - **逐步推理**：展示完整的思考链条，而非仅给出最终答案 - **高难度**：专门针对模型的薄弱环节，提供有针对性的学习信号 这种数据筛选策略确保了对齐阶段能够真正解决模型的关键问题，而非在已经掌握的能力上重复训练。 ## 实验验证与性能提升 研究团队在Qwen3-VL模型上进行了全面实验，验证了PRISM的有效性。 ### 跨算法一致性提升 PRISM在多种RL算法上都展现出一致的性能提升： - **GRPO（Group Relative Policy Optimization）**：一种基于组相对奖励的策略优化方法 - **DAPO（Direct Advantage Policy Optimization）**：直接优势策略优化 - **GSPO（Group Softmax Policy Optimization）**：组Softmax策略优化 这种跨算法的一致性表明PRISM的改进来源于训练流程的根本优化，而非与特定RL技巧的耦合。 ### 模型规模扩展性 实验涵盖了4B和8B两种参数规模的模型： - **4B模型**：相比SFT-to-RLVR基线，平均准确率提升**+4.4个百分点** - **8B模型**：相比SFT-to-RLVR基线，平均准确率提升**+6.0个百分点** 值得注意的是，更大的模型从PRISM中获益更多，这表明该方法具有良好的规模扩展性。 ### 多基准验证 性能提升在多个多样化的多模态基准测试上得到验证，证明了PRISM的泛化能力。这些基准涵盖了不同类型的视觉理解任务和推理挑战。 ## 技术贡献与方法论创新 PRISM的研究贡献体现在多个层面： **1. 问题诊断：揭示SFT漂移的本质** 研究深入分析了SFT引入的分布漂移问题，特别是在多模态场景下感知漂移和推理漂移的差异化特征。这一诊断为未来训练流程的改进提供了理论基础。 **2. 方法创新：黑盒策略蒸馏** 将策略蒸馏扩展到黑盒设置，摆脱了对教师模型内部状态的依赖。这一创新使得方法更易于在实际场景中部署，降低了对教师模型选择和访问的要求。 **3. 架构设计：解耦的MoE判别器** 混合专家判别器的设计巧妙地将感知评估和推理评估分离，提供了更细粒度的学习信号。这种解耦思路对于复杂多模态系统的训练具有普遍借鉴意义。 **4. 数据策略：针对性高难度样本** 数据筛选策略聚焦于模型尚未掌握的困难样本，提高了训练效率和效果。这种"补短板"的数据策略对于资源受限的训练场景尤为重要。 ## 开源贡献与社区影响 研究团队已将代码、数据和模型检查点开源至GitHub（https://github.com/XIAO4579/PRISM），这一开放态度对研究社区具有重要价值： **可复现性保障** 开源代码使得其他研究者能够复现论文结果，验证方法的有效性。 **方法迁移** PRISM的训练流程可以迁移到其他多模态模型和任务上，为整个领域提供新的训练范式选择。 **基准建立** 开源的模型检查点可以作为后续研究的基线，推动多模态强化学习领域的持续发展。 ## 对行业的启示 PRISM的研究成果对多模态AI的应用开发具有多重启示： **训练流程的重要性** 模型性能不仅取决于架构设计和数据规模，训练流程的优化同样关键。SFT-RL的两阶段范式存在改进空间，中间插入对齐阶段可能带来显著收益。 **针对性数据的价值** 与其追求数据规模的扩大，不如聚焦于模型真正需要学习的高难度样本。精准的数据策略可能比盲目堆量更有效。 **黑盒优化的实用性** 在实际应用中，往往无法获得教师模型的内部信息。黑盒优化方法虽然理论上可能不如白盒方法信息丰富，但其实用性更强，更易于落地。 ## 结语 PRISM代表了多模态模型训练流程优化的一个重要进展。通过在SFT和RL之间插入显式的分布对齐阶段，PRISM有效缓解了分布漂移问题，显著提升了模型的最终性能。这一研究不仅提供了实用的训练方法，更重要的是揭示了后训练流程中各阶段之间的复杂关系，为未来更先进的训练范式探索指明了方向。随着多模态AI在更多关键应用场景中的部署，像PRISM这样的训练优化技术将发挥越来越重要的作用。