InterleaveThinker：让任意图像生成器实现图文交错生成的多智能体框架

InterleaveThinker是创新的多智能体框架，通过规划器与批评器协作，使现有图像生成器具备图文交错生成能力。该方法经GRPO强化学习优化，在交错生成基准上性能与GPT-5相当，还显著提升基础模型推理任务表现。关键词：图像生成、多智能体、图文交错、强化学习、GRPO、视觉叙事、多模态。原文来源：arXiv 2026年6月11日，链接http://arxiv.org/abs/2606.13679v1。

近年来图像生成技术（如DALL-E、Stable Diffusion、FLUX）在单图生成/编辑上表现出色，但存在架构限制：无法实现"文本-图像-文本..."交错生成，这对视觉叙事、分步指导、具身操作等场景至关重要。现有开源统一多模态模型在此任务上表现有限。核心挑战包括：架构缺乏序列规划、自我评估、迭代改进能力；应用需求涵盖视觉叙事、分步指导、具身操作等领域。

InterleaveThinker采用双智能体架构：规划器负责分解任务为有序步骤，生成指令并维护状态；批评器评估输出，识别偏离并优化指令。训练策略：构建Interleave-Planner-SFT-80k（规划器监督微调）、Interleave-Critic-SFT-112k（批评器监督微调）数据集；用Interleave-Critic-RL-13k数据集通过GRPO强化学习优化批评器；设计准确性奖励（单步质量）和步骤级奖励（对后续影响），实现单步优化全局轨迹。

在图文交错生成基准测试中，InterleaveThinker性能与Nano Banana、GPT-5相当，能提升各类基础图像生成器性能且通用性强。意外发现：该框架显著增强基础模型推理能力，如4步FLUX.2-klein模型在WISE和RISE推理基准上表现提升，暗示图文交错训练培养的通用推理能力可迁移。

1.任务分解：将复杂的图文交错生成拆分为规划和批评子任务，提升处理能力；2.迭代改进：批评器引入"生成-评估-改进"循环，类似人类创作流程；3.强化学习泛化：GRPO训练不仅提升特定任务性能，还赋予通用推理能力，跨任务泛化性优于单任务监督学习。

1.内容创作工具：自动生成漫画、绘本、教程等；2.教育应用：动态生成个性化学习材料（文本+示意图）；3.具身智能：帮助机器人理解执行复杂视觉-语言指令，根据反馈调整计划。

当前局限：计算成本高、生成延迟、长序列错误累积。未来方向：优化效率减少生成调用；探索端到端多智能体联合训练；扩展到视频、音频等其他模态交错生成。

InterleaveThinker是图像生成领域重要突破，通过多智能体架构和强化学习，为现有模型赋予图文交错生成能力，性能达顶尖专有模型水平。更兴奋的是，发现跨任务能力迁移——图文交错训练获得的推理能力可泛化到其他推理任务，为多模态AI发展提供新思路，值得开发者深入研究应用。