IMUG-Bench：统一多模态模型交错图文对话能力评测基准

核心观点：IMUG-Bench是首个系统评估统一多模态模型（UMMs）在多轮交错图文对话中表现的评测基准，揭示主流模型生成侧存在显著曝光偏差，并验证了测试时缩放策略的有效性。

来源信息：

• 原作者：arXiv论文团队
• 来源平台：arXiv
• 发布时间：2026年6月8日
• 原文链接：http://arxiv.org/abs/2606.09169v1

该基准填补了现有评测在动态多轮交互场景的空白，为UMMs的发展提供关键参考。

统一多模态模型的兴起

近年来，统一多模态模型（UMMs）成为AI领域重要方向，在单一框架内同时支持理解和生成任务，处理图像、文本等多模态输入输出。

真实场景的挑战

UMMs面临动态多轮交错图文对话的挑战：需理解对话历史中的图文、生成合适的图文回复、保持多轮一致性（如用户先问风景地点，再追问美食并要求生成图片）。

现有基准不足

• 单轮或静态设置：多数仅测试单轮或静态图文对
• 忽略曝光偏差：未考虑多轮交互中的曝光偏差
• 缺乏动态理解：不支持复杂动态场景

这些局限导致现有基准无法全面评估UMMs的实际应用能力。

IMUG-Bench是首个针对UMMs多轮交错图文对话能力的综合评测基准，其设计如下：

数据集规模

• 3,113个样本，覆盖多样化真实场景
• 12,034个交互轮次，平均每样本约4轮

三大类别

1. 静态空间类：关注空间关系和物体属性，如"图片中有几个人？"，要求细粒度视觉理解和空间推理
2. 时间因果类：涉及时序和因果关系，如"根据前几张图，接下来会发生什么？"，要求时序推理和跨图像关联
3. 混合类：结合静态空间与时间因果的复杂场景，要求综合能力和模态切换

动态理解问题

特别设计动态理解问题，要求模型跟踪对话状态变化、更新理解、处理信息冲突，更贴近真实交互。

评测模型范围

涵盖主流开源（LLaVA、Qwen-VL、InternVL等）和闭源模型（GPT-4V/GPT-4o、Gemini等）。

能力边界

• 理解侧：静态空间问题表现较好，时序理解和细粒度定位仍有挑战
• 生成侧：图像生成质量参差不齐、文本易偏离主题、跨模态一致性差

失效模式

常见失效：上下文遗忘、模态混淆、幻觉生成、风格漂移

关键发现：生成侧显著曝光偏差

曝光偏差指训练时暴露于自身生成样本导致训练-推理不匹配、错误累积、多样性缺失。在多轮对话中表现为：轮次增加性能下降、模态切换时偏差加剧、过度依赖近期上下文。

研究验证了多种测试时缩放策略能有效提升生成准确性并缓解曝光偏差：

1. 思维链（CoT）：生成前逐步推理，生成质量提升15-25%，逻辑一致性改善，但计算开销增加2-3倍
2. 自我验证：生成多个候选后自我评估选择最佳，准确性提升10-20%，减少错误和幻觉
3. 最佳N采样：生成N个候选选评分最高，生成任务提升显著，图像质量和文本连贯性改善

综合策略：组合使用（如CoT+Best-of-N）可获得最佳效果，自适应策略根据任务动态选择。

架构设计

• 平衡理解编码器与生成解码器
• 增强长程记忆机制
• 改善跨模态表示一致性

训练策略

• 引入对抗训练、课程学习缓解曝光偏差
• 使用真实多轮对话数据训练
• 从人类反馈中学习多轮交互策略

评估方法

• 采用动态评测测试多轮交互能力
• 使用更贴近真实应用的评测数据
• 深入分析不同能力维度表现

这些建议为UMMs的优化方向提供明确指导。

IMUG-Bench的局限

• 规模限制：3K+样本仍显不足
• 语言限制：主要关注英文场景
• 领域覆盖：医疗、法律等专业领域覆盖不足

未来研究方向

• 构建更大规模的评测集
• 扩展多语言场景（中文、日文等）
• 评测实时对话中的模型表现
• 评估模型适应个人偏好的能力

未来需进一步完善基准以推动UMMs的实用化。

IMUG-Bench代表了UMMs评测的重要进展，通过系统评估多轮交错图文对话能力，揭示了当前模型的能力边界和生成侧曝光偏差问题。

测试时缩放策略（如思维链、自我验证）的有效性为实际部署提供实用指导。该工作强调评测不仅是打分，更是理解模型能力与局限，从而指导未来研究与开发，推动UMMs向真正实用化方向迈进。