SGREC：基于查询驱动场景图的零样本指代表达理解新方法

SGREC通过构建查询驱动的场景图作为视觉与语言之间的结构化桥梁，结合视觉语言模型（VLM）和大型语言模型（LLM）的优势，在零样本设置下实现了可解释的指代表达理解，并在多个基准测试中取得领先性能。

背景

指代表达理解（REC）是计算机视觉与自然语言处理交叉领域的核心任务，目标是根据自然语言描述定位图像中的特定对象。传统REC依赖大量标注数据，而零样本REC要求模型在无任务特定训练数据时通过文本查询定位目标，成为研究热点。

挑战

现有VLMs（如CLIP）直接度量文本与图像区域特征相似度，难以捕捉细粒度细节和复杂对象关系；LLMs擅长语义推理，但无法直接将视觉特征抽象为文本语义，限制其在REC中的应用。

SGREC的核心创新是引入场景图作为视觉与语言的结构化中介，结合VLM的视觉感知能力和LLM的语义推理能力。整体架构包含三个阶段：

1. 利用VLM构建查询驱动的场景图，编码与查询相关的空间关系、描述性标题及对象交互信息；
2. 通过场景图桥接低层图像区域与LLM所需的高层语义理解；
3. LLM从场景图的结构化文本表示中推理目标对象，并提供决策解释。

场景图是SGREC的核心组件，采用查询驱动策略：

• VLM先分析图像，识别对象实例及其属性；
• 根据查询筛选相关对象和关系，构建紧凑子图，包含对象基本信息（类别、位置、外观）、空间关系（如“左边”“上面”）和交互关系（如“拿着”“看着”）；
• 优势：提高计算效率、增强语义相关性、降低LLM推理难度。

SGREC通过场景图解决模态鸿沟问题：

• 场景图作为结构化语义表示，既保留视觉信息丰富性，又具备文本可读性，实现VLM与LLM的无缝衔接；
• 模块化设计使系统可解释：用户可查看场景图理解解析过程，研究者可针对性优化各环节，无需重新训练端到端模型。

• LLM从场景图中推理最符合查询的目标对象；
• 输出定位结果的同时生成详细解释（如“选择该对象是因为它是桌子左侧穿红衣服的人，匹配查询描述”）；
• 可解释性意义：增强用户信任，便于系统调试和错误分析（定位场景图构建或LLM推理的偏差）。

SGREC在多个零样本REC基准测试中表现领先：

• RefCOCO验证集准确率66.78%；
• RefCOCO+测试B集准确率53.43%；
• RefCOCOg验证集准确率73.28%；
• 优势不仅体现在准确率，可解释性为实际部署提供额外价值（适用于透明度要求高的场景）。

技术意义

SGREC为视觉-语言融合领域提供新思路：通过结构化中间表示结合不同模态模型优势，解决可解释性难题；代表模块化、可解释推理链条的新范式，可推广到视觉问答、图像描述生成等任务。

未来展望

随着VLM和LLM能力提升，场景图方法有望应用于自动驾驶（理解交通场景对象关系）、机器人（支持自然人机交互）等复杂场景。