MLLM-HSGG：多模态大语言模型增强的高信息场景图生成数据集

本文介绍MLLM-HSGG数据集，该数据集利用多模态大语言模型（MLLMs）增强场景图生成任务，旨在为视觉理解提供更丰富的结构化信息表示。核心特点包括多模态融合、高信息密度和质量提升，通过创新技术方法推动场景图生成领域的发展。

场景图生成（SGG）是计算机视觉核心任务，将图像转为结构化图（节点为对象，边为关系）。传统SGG受限于训练数据质量和多样性，难以捕捉复杂场景细粒度关系。近年来MLLMs展现强大视觉-语言理解能力，为SGG带来新机遇，MLLM-HSGG项目探索利用MLLM增强数据集质量和信息密度。

MLLM-HSGG是专注高信息场景图生成的数据集项目，通过MLLM增强现有数据集，产生更丰富关系标注和精确属性描述的训练数据。核心特点：

• 多模态融合：结合视觉特征和语言理解，生成更准确标注
• 高信息密度：包含更多细粒度对象关系和属性
• 质量提升：利用MLLM推理过滤低质量标注，提高可靠性

项目采用创新技术提升效果：

1. 视觉-语言对齐：通过MLLM实现图像与文本深度对齐，捕捉复杂语义关系
2. 数据增强策略：生成多样化关系描述、验证修正现有标注、补充缺失属性和关系
3. 质量控制机制：基于MLLM的质量评估模块，自动识别过滤错误标注

数据集可应用于：

• 图像理解：提升视觉问答、图像描述生成性能
• 视觉推理：支持复杂场景理解和逻辑推理
• 多模态学习：为视觉-语言预训练提供高质量数据
• 机器人导航：帮助机器人理解环境布局和对象关系

项目价值在于探索MLLM在结构化视觉数据生成中的应用潜力，使SGG从依赖视觉特征转向视觉-语言联合建模，推动领域发展。同时启示：大语言模型不仅用于生成任务，还可作为数据质量守护者和增强器，在数据稀缺或标注困难场景发挥关键作用。

MLLM-HSGG代表场景图生成领域重要方向——利用MLLM提升数据质量和模型性能。随着多模态技术进步，期待更多创新方法涌现，推动视觉理解向更深层次发展。