GeoSearch：融合网络级反向图像搜索的全球图像地理定位框架

本文提出GeoSearch框架，将网络级反向图像搜索集成到RAG流程中，通过双层过滤机制和网页文本证据增强，突破传统固定数据库方法的覆盖局限，在Im2GPS3k和YFCC4k基准上实现更优性能，为开放世界图像地理定位提供可行路径。

全球图像地理定位任务面临多重挑战：全球视觉景观多样性、光照/季节/角度变化、地理分布不平衡（热门地区过度代表，偏远地区缺失）。传统基于RAG的方法依赖固定地理数据库，当查询场景不在数据库中时无法准确预测。

GeoSearch的关键突破在于将地理定位从封闭世界转向开放世界范式：1. 不再依赖固定有限的参考数据库，而是利用整个互联网作为地理知识源；2. 将网络规模反向图像搜索直接集成到RAG流程中，扩展知识覆盖范围。

GeoSearch架构包含三个核心组件：

1. 多源候选检索：同时从本地地理数据库和网络反向搜索获取候选位置，覆盖更多场景；
2. 网页文本证据提取：提取关联网页的地名、地标描述等文本线索，增强LMM推理上下文；
3. 双层过滤机制：通过图像匹配验证视觉对应关系，再通过置信度门控筛选高质量候选，控制网络噪声。

研究在Im2GPS3k（3000张测试图）和YFCC4k两个基准上进行严格评估，采用防泄漏设计确保测试图像不被直接检索，避免数据泄漏影响结果。结果显示GeoSearch在两个基准上均优于传统固定数据库方法，证明网络搜索增益真实可泛化。

网络搜索有效的三大原因：

1. 扩展地理覆盖：互联网包含海量地理标记图像，覆盖从热门地标到偏远区域；
2. 文本证据互补：网页文本提供地名等消歧信息，解决视觉相似场景的地理区分问题；
3. 动态知识更新：无需手动更新数据库，自动获取最新地理信息。

当前局限：网络搜索延迟、网络内容噪声、隐私敏感问题； 未来方向：探索高效搜索策略减少延迟、跨语言文本处理、利用网页时间戳实现时序地理定位。

GeoSearch突破了固定数据库的覆盖限制，为开放世界地理定位提供可行路径。其将互联网知识整合到视觉-语言任务的思路，有望启发更广泛的开放世界视觉理解研究。