视觉语言导航的瓶颈：3D场景理解能力如何影响零样本VLN性能

本文量化了3D场景理解能力对零样本视觉语言导航（VLN）性能的实际影响，揭示了感知饱和现象——当感知精度超过阈值后，进一步提升对导航成功率的收益急剧递减。研究提出，VLN的3D理解应从像素级精度转向导航相关的核心语义和边界框比例，为设计更高效的导航系统提供新思路。

零样本VLN因低数据收集成本和泛化能力受关注，通常整合预训练视觉语言模型（VLM）和大型语言模型（LLM）：VLM构建3D场景图，LLM负责高层推理决策。但当前3D感知模型优先像素级精度，与导航的计算限制、实时效率需求冲突，成为关键瓶颈。

现有3D模型追求通用任务的像素级精度，但导航场景中存在计算开销大、实时性不足、信息冗余问题。研究将VLM-LLM导航系统分解为两个组件：1. 慢速LLM规划器（依赖拓扑语义做路径规划）；2. 快速反应式导航器（利用空间坐标和边界框执行决策）。

通过评估先进3D场景理解模型，发现感知饱和现象——感知精度超阈值后，导航成功率提升收益递减。研究为两个子系统提出统计成功率（SR）上界：规划器性能受限于场景语义完整性，导航器受限于空间定位准确性。

基于发现，论文建议VLN的3D理解应：1. 优先导航相关核心词汇（关键物体、拓扑结构）；2. 重视边界框比例（相对位置比绝对像素精度更重要）；3. 平衡精度与效率（定制导航任务感知模型）。

使用先进3D模型评估验证了感知饱和现象及成功率上界：超过精度阈值后导航成功率提升有限；语义理解和空间关系准确性更关键；优化感知模型的导航相关性可显著提升系统效率。

研究对VLN领域的影响包括：1. 模型设计：鼓励开发导航定制的3D感知模型；2. 评估标准：建议引入导航效率相关指标；3. 系统架构：支持分层架构分离高精度感知与快速响应。