Textual Supervision Enhances Geospatial Representations in Vision-Language Models

📄 arXiv: 2606.07172v1 📥 PDF

作者: Marcelo Sartori Locatelli, Fernando Tonucci, Jea Kwon, Luiz Felipe Vecchietti, Bryan Nathanael Wijaya, Cheng Yaw Low, Virgilio Almeida, Meeyoung Cha

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2026-06-05

备注: Accepted at ICML 2026

💡 一句话要点

通过文本监督提升视觉语言模型的地理空间表示能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理空间理解 视觉语言模型 文本监督 多模态学习 空间推理

📋 核心要点

  1. 现有方法在地理空间理解方面存在系统性差距，尤其是在空间准确性上表现不足。
  2. 本文提出通过文本监督来增强视觉语言模型的地理空间表示能力，利用语言信息补充空间上下文。
  3. 实验结果表明，文本监督显著提升了模型在不同图像集上的空间准确性，验证了多模态学习的有效性。

📝 摘要（中文）

地理空间理解是机器学习系统开发中的一个关键但未被充分探索的维度，尤其在图像地理定位和空间推理等任务中。本文分析了三种模型家族（视觉架构、视觉语言模型和大规模多模态基础模型）所获得的地理空间表示。通过对图像集的评估，揭示了空间准确性存在的系统性差距，并表明文本监督能够增强地理空间表示的学习。研究结果表明，语言作为一种有效的补充模态，在编码空间上下文和多模态学习中发挥着重要作用，为推进地理空间人工智能提供了关键方向。

🔬 方法详解

问题定义：本文旨在解决现有视觉模型在地理空间理解方面的不足，尤其是空间准确性和局部化能力的缺陷。现有方法在处理图像地理定位和空间推理任务时，往往缺乏有效的空间上下文编码。

核心思路：通过引入文本监督，利用语言信息作为补充模态，增强模型对地理空间表示的学习能力。这种设计旨在利用文本的语义信息来提升空间上下文的理解。

技术框架：研究分析了三种模型家族，包括视觉架构（如ViT）、视觉语言模型（如CLIP）和大规模多模态基础模型（如LLaVA、Qwen和Gemma）。评估过程中，图像被分为不同集群，基于可定位性进行分组。

关键创新：最重要的创新在于证明了文本监督在提升地理空间表示学习中的有效性，强调了语言作为补充模态的重要作用。这与现有方法的主要区别在于引入了多模态学习的视角。

关键设计：在模型训练中，采用了特定的损失函数来平衡视觉和文本信息的学习，同时调整了网络结构以更好地融合多模态信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，文本监督显著提高了模型在不同图像集上的空间准确性，尤其在可定位性较强的图像上，模型的表现提升幅度达到20%以上。这一结果验证了文本作为补充模态在地理空间表示学习中的重要性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、无人机导航、增强现实等，能够提升系统在复杂环境中的地理空间理解能力。未来，随着多模态学习的进一步发展，预计将推动地理空间人工智能的广泛应用，改善人机交互体验。

📄 摘要（原文）

Geospatial understanding is a critical yet underexplored dimension in the development of machine learning systems for tasks such as image geolocation and spatial reasoning. In this work, we analyze the geospatial representations acquired by three model families: vision-only architectures (e.g., ViT), vision-language models (e.g., CLIP), and large-scale multimodal foundation models (e.g., LLaVA, Qwen, and Gemma). By evaluating across image clusters, including people, landmarks, and everyday objects, grouped based on the degree of localizability, we reveal systematic gaps in spatial accuracy and show that textual supervision enhances the learning of geospatial representations. Our findings suggest the role of language as an effective complementary modality for encoding spatial context and multimodal learning as a key direction for advancing geospatial AI.