多模态大语言模型赋能场景图生成：MLLM-HSGG数据集深度解析

场景图生成（SGG）是计算机视觉领域核心任务，旨在提取图像结构化语义信息。多模态大语言模型（MLLM）的兴起为SGG带来新可能，MLLM-HSGG数据集通过MLLM增强SGG的信息密度与质量，采用人机协作标注，支持多粒度描述，在图像检索、视觉问答等多领域有应用价值，为突破传统SGG瓶颈提供新方向。

场景图是图像内容的结构化表示，节点为实体（如人、狗），附带属性（如红色、奔跑），边表示实体关系（如骑在...上）。传统SGG方法依赖CNN和GNN，通过监督学习实现，但面临标注成本高、关系类别长尾分布、复杂场景理解能力有限等挑战。

MLLM结合视觉感知与语言理解能力，在SGG任务中具有显著优势：1. 零样本/少样本学习能力，降低对昂贵标注数据的依赖；2. 生成更丰富自然的关系描述，突破预定义关系类别的限制，捕捉细腻语义信息。

MLLM-HSGG数据集的创新点包括：1. 高信息密度，为场景图节点和边附加更丰富描述；2. 人机协作标注，MLLM生成候选结构后人工校验，兼顾效率与准确性；3. 多粒度标注，提供从粗到细的多层次标注，满足不同需求。

MLLM-HSGG实现的关键环节：1. 图像编码用视觉Transformer提取全局与局部特征；2. 文本生成用专门提示模板引导MLLM输出结构化场景图；3. 输出转换采用规则解析器+轻量语言模型处理自由文本；4. 质量控制通过交叉验证、一致性检查、人工抽检确保数据准确。

高质量场景图数据在多领域应用：图像检索支持语义精确查询，视觉问答提供推理基础，机器人导航帮助理解环境。MLLM-HSGG特别适用于细粒度任务，如电商商品描述、自动驾驶语义地图、智能图像编辑等。

MLLM-HSGG代表SGG领域利用基础模型突破传统瓶颈的方向，提升数据质量并提供新解决思路。未来研究方向：提升标注自动化程度、探索高效验证机制、扩展到视频场景图生成，期待在更多实际场景发挥价值。