TurnBack：通过逆向路径评估大语言模型的地理空间认知能力

TurnBack是一个创新的基准测试，通过逆向路径任务评估大语言模型的地理空间推理和导航认知能力，揭示当前模型在空间理解方面的优势与局限。该基准由EMNLP 2025接收，核心创新在于采用"逆向路径"范式，考验模型对空间关系的深度理解能力。本文将从背景、方法、实验发现、错误分析及未来方向等方面展开讨论。

地理空间认知是人类智能核心，涉及空间关系理解、路径规划与记忆等，对AI实现自然人机交互和自主决策至关重要。大语言模型在文本理解生成上进展显著，但空间认知能力仍属开放问题，TurnBack基准正是为系统性评估这一能力而设计。

TurnBack的核心创新在于"逆向路径"测试范式：给定从A到B的路径描述，要求生成从B返回A的逆向路径。这不仅是方向反转，需模型理解地标相对位置、识别可逆/不可逆路段（如单行道）、转换转向指令（如左转变右转），有效区分真正空间理解与表面模式匹配的模型。

TurnBack数据集遵循语言学原则和地理信息科学标准，收集真实世界导航场景（城市街道、公园、室内等），每个样本含原始路径描述、逆向路径描述及结构化验证信息。任务分不同难度级别（简单直线路径到复杂多转弯路线，熟悉/陌生环境），可评估模型在不同复杂度下的表现。

TurnBack采用多维度评估体系，包括文本相似度指标（BLEU、ROUGE）及空间任务专属指标（路径正确率、转向准确性、地标识别率）。实验结果显示：当前主流大语言模型表现远未达人类水平；模型规模与空间推理能力正相关但非线性；模型在相对方向、距离估算等特定空间关系处理上存在明显困难。

深入错误分析揭示模型的系统性局限，常见错误包括方向混淆（左右颠倒）、距离误判、拓扑错误（地标连通性判断错误）、缺乏不可逆路段识别能力。这表明模型未建立内在灵活的空间表征，更多依赖文本模式匹配而非空间推理。

TurnBack基准具有学术与实用价值：为评估模型空间认知提供统一标准，指导导航系统、智能助手等应用场景的模型优化；揭示大语言模型在具身智能领域的潜在局限。项目完全开源（数据集、评估代码、框架），未来可扩展数据集、开发空间推理专属架构、探索多模态融合、注入空间知识到预训练模型等。