FRIEDA：视觉语言模型多步地图推理能力评估基准

FRIEDA是ICLR 2026收录的视觉语言模型（LVLM）多步地图推理能力评估基准，专注于开放式多步地图推理任务，涵盖拓扑（边界、包含等）、度量（距离）、方向（方位）等空间关系，要求模型进行跨地图多跳推理。该基准填补了现有LVLM评估中地图推理能力的空白，提供Direct（纯推理）和Contextual（需选地图）两个数据集版本，支持多种开源/闭源模型评估，助力模型空间推理能力改进与跨领域研究。

地图是空间信息理解的重要工具，但现有LVLM基准多集中于通用视觉问答或文档理解，缺乏针对地图推理的系统性评估。地图理解需掌握复杂空间关系（拓扑、度量、方向），FRIEDA因此诞生，旨在评估LVLM在开放式、多步地图推理任务上的表现。

FRIEDA基于真实地图资源（地质、城市规划、环境评估等领域）构建，采用GIS理论的空间关系分类框架：

• 拓扑关系：边界、相等、相交、包含（不随比例尺变化）
• 度量关系：距离（需理解比例尺与坐标）
• 方向关系：绝对方位（东/南等）、相对位置（左/右等） 问题设计遵循多跳推理（需多步分析）和跨地图关联（整合多地图信息）原则。

FRIEDA提供两个数据集版本：

• Direct版：直接呈现问题与地图，测试纯推理能力
• Contextual版：需先选正确地图，测试文档检索与选择能力 评估框架支持开源（Llama、Qwen-VL等）、闭源（GPT-4V、Claude等）及自定义模型，流程简洁（如命令行运行评估），生成模型回答与评估结果文件，内置Flash Attention等性能优化。

研究价值：填补LVLM地图推理评估空白，提供标准化工具；推动模型空间推理能力改进；促进计算机视觉、NLP、地理信息科学交叉研究。 应用场景：指导智能地图问答系统（公众助手、专业报告生成、教育辅导）；增强地理信息检索（RAG系统优化）；为开发者提供模型选型参考。

技术细节：提供环境配置指南（依赖安装、PyTorch、Flash Attention）；数据可通过Hugging Face Hub或Google Drive获取；闭源模型API密钥通过环境变量管理。 社区资源：项目主页（可视化、排行榜）、Hugging Face数据集、arXiv论文；代码开源，欢迎贡献（提交结果、改进工具、扩展数据集）。

当前局限：语言以英文为主；地图类型侧重专业领域，消费级导航地图覆盖有限；推理步数相对有限。 未来方向：扩展多语言支持；引入动态地图（时序变化）、交互式地图；增加更复杂的推理步骤。

FRIEDA作为首个针对LVLM地图推理能力的系统性基准，定义了评估维度与标准，提供高质量数据与工具。它将加速AI空间知识理解能力的研究，助力LVLM在地图相关场景的应用，让AI更好利用人类空间知识。