DIM：重新平衡设计师与画师角色的统一多模态图像编辑模型

DIM（Draw-In-Mind）是ICLR 2026收录的研究，由新加坡国立大学ShowLab团队提出。该模型通过明确区分"设计师"（理解设计意图）与"画师"（执行绘画操作）两种角色，解决现有统一多模态模型角色混淆的核心矛盾，显著提升图像编辑能力。

统一多模态模型在图像任务中能力强大，但现有架构常将"理解设计意图"和"执行绘画操作"混为一谈，导致要么忽视细节执行要么缺乏整体把控。这种角色混淆是图像编辑的核心矛盾，DIM框架为此带来新突破。

核心思想

DIM借鉴人类创意分工，分离设计师（构思风格、构图）与画师（视觉呈现）角色，平衡语义理解与像素操作。

技术创新

1. 双路径表示学习：并行处理语义级设计概念与像素级视觉细节，避免信息压缩损失；
2. 动态角色切换：按任务需求调整角色权重（大幅改动时设计师主导，精细调整时画师主导）；
3. 层次化指令解析：识别编辑指令中的意图与细节，路由到对应路径。

DIM在ICLR 2026收录，多个基准测试领先：

• 对象替换与插入：背景一致融合新对象；
• 风格迁移：保留内容结构并准确应用目标风格；
• 属性编辑：精确控制颜色、纹理等视觉属性；
• 组合编辑：复杂指令处理更稳定。 此外，对模糊指令鲁棒性强，能主动澄清补全不完整指令。

• 创意设计辅助：自然语言描述快速探索视觉方案；
• 内容创作工具：降低专业图像处理门槛；
• 智能图像修复：平衡修复区域与周围协调性；
• 多模态对话系统：为深度图像编辑对话助手提供基础。

ShowLab团队开源DIM代码与预训练模型：

1. 提供角色分离的参考范式，可推广到其他多模态任务；
2. 方便研究者复现改进，加速领域进步；
3. 工业界可直接集成到创意工具平台。

• 引入更多专业角色（如"评论家""策展人"）；
• 设计更高效的角色间信息交换机制；
• 扩展到视频、3D等多模态内容编辑；
• 学习用户/领域的角色偏好，提供个性化体验。