多视角空间关系不变性评测工具：检验视觉语言模型的空间推理能力

本文介绍multiview-invariance项目——基于ScanNet 3D场景构建的评测工具集，通过生成视角变化导致空间关系翻转的图像对，系统评估视觉语言模型（VLM）跨视角空间推理的一致性，为VLM三维空间推理能力提供严格基准。

人类观察三维场景时，视角变化不影响空间关系理解；但依赖二维图像训练的VLM，视角变化可能导致空间关系判断翻转。本项目针对此问题，构建测试案例评估VLM空间推理鲁棒性。

技术流程

1. 场景数据获取：从Hugging Face下载ScanNet场景数据（重建网格、语义标签等）；
2. 场景预处理：轴对齐确保地面水平，过滤结构性元素和小物体；
3. 物体配对与视角生成：枚举符合条件的物体对，寻找使空间关系翻转的相机位置（满足距离、投影、遮挡等约束）；
4. 参考箭头机制：可选彩色箭头指向物体中点作为空间锚点，测试参照系对VLM判断的影响。

空间关系定义

• 左右：图像平面投影中心差超20像素；
• 前后：相机空间深度差超0.1米；
• 上下：质心和包围盒底部均高出0.1米。

数据集构建

生成渲染图像（高亮目标物体）、元数据JSON、可选箭头视角图像；以场景为单位划分训练/测试集避免信息泄露。

API集成

内置OpenAI API支持，通过chatgpt_api.py和run_chatgpt_benchmark.py实现GPT-4V等模型批量评测，支持自定义提示词和问题模板。

工程亮点

• 跨平台兼容：改用PyVista渲染实现Windows支持；
• 遮挡检测：射线投射法判断物体可见性；
• 参数化配置：丰富命令行选项调整相机参数等。

1. 可控测试环境：精确几何配置和预期答案，避免人工标注主观性；
2. 视角不变性指标：检验VLM是否真正理解三维空间（而非像素匹配）；
3. 参考箭头实验：量化空间锚点对推理一致性的提升；
4. 应用前景：在具身智能、机器人导航、AR/VR等场景中发挥重要作用。

multiview-invariance项目填补VLM空间推理评测领域工具空白，通过3D场景几何与2D VLM评测结合，提供严格可复现的测试平台，助力相关领域研究与应用发展。