GAIR: Improving Multimodal Geo-Foundation Model with Geo-Aligned Implicit Representations

📄 arXiv: 2503.16683v1 📥 PDF

作者: Zeping Liu, Fan Zhang, Junfeng Jiao, Ni Lao, Gengchen Mai

分类: cs.CV, cs.AI

发布日期: 2025-03-20

备注: 18 pages, 10 figures

💡 一句话要点

GAIR：利用地理对齐隐式表征改进多模态地理基础模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理基础模型 多模态融合 隐式神经表示 遥感图像 街景图像 地理空间关系 对比学习

📋 核心要点

  1. 现有GeoFM主要依赖遥感数据，忽略了街景等多模态数据，限制了模型在不同场景下的泛化能力。
  2. GAIR通过隐式神经表示（INR）模块，学习连续的遥感图像表征，并根据街景图像的地理位置查找对应的遥感嵌入，实现地理对齐。
  3. GAIR在10个地理空间任务上超越了现有GeoFM，证明了其在学习通用地理空间表征方面的有效性和可迁移性。

📝 摘要（中文）

视觉和语言基础模型的进步激发了地理基础模型（GeoFM）的发展，从而提高了各种地理空间任务的性能。然而，许多现有的GeoFM主要关注高空遥感（RS）数据，而忽略了其他数据模态，如地面图像。多模态GeoFM开发的一个关键挑战是显式地建模跨模态的地理空间关系，这使得跨任务、空间尺度和时间背景的泛化成为可能。为了解决这些限制，我们提出GAIR，一种新颖的多模态GeoFM架构，集成了高空遥感数据、街景（SV）图像及其地理位置元数据。我们利用三个分解的神经编码器将SV图像、其地理位置和RS图像投影到嵌入空间中。SV图像需要在RS图像的空间范围内，但不需要位于其地理中心。为了在地理上对齐SV图像和RS图像，我们提出了一种新颖的隐式神经表示（INR）模块，该模块学习连续的RS图像表示，并在SV图像的地理位置查找RS嵌入。接下来，这些地理对齐的SV嵌入、RS嵌入和位置嵌入通过来自未标记数据的对比学习目标进行训练。我们在跨越基于RS图像、基于SV图像和基于位置嵌入的基准的10个地理空间任务中评估GAIR。实验结果表明，GAIR优于最先进的GeoFM和其他强大的基线，突出了其在学习可泛化和可迁移的地理空间表示方面的有效性。

🔬 方法详解

问题定义：现有地理基础模型（GeoFM）主要依赖于高空遥感数据，忽略了地面街景图像等其他模态的数据，导致模型在跨任务、跨空间尺度和跨时间背景下的泛化能力受限。此外，如何显式地建模不同模态数据之间的地理空间关系也是一个挑战。

核心思路：GAIR的核心思路是通过隐式神经表示（INR）模块，将遥感图像表示为一个连续的函数，然后根据街景图像的地理位置，从该函数中提取对应的遥感嵌入。这样可以实现街景图像和遥感图像在地理空间上的对齐，从而更好地融合多模态信息。

技术框架：GAIR的整体架构包含三个主要模块：遥感图像编码器、街景图像编码器和位置编码器。这三个编码器分别将遥感图像、街景图像和地理位置信息映射到嵌入空间。然后，INR模块根据街景图像的地理位置，从遥感图像的连续表示中提取对应的嵌入。最后，通过对比学习目标，训练这三个嵌入，使得地理位置相近的街景图像和遥感图像的嵌入也相近。

关键创新：GAIR最重要的技术创新点是引入了隐式神经表示（INR）模块，用于学习遥感图像的连续表示，并根据街景图像的地理位置提取对应的嵌入。与现有方法直接使用离散的遥感图像像素值相比，INR模块可以更好地捕捉遥感图像的空间结构信息，并实现更精确的地理对齐。

关键设计：GAIR的关键设计包括：1) 使用三个分解的神经编码器分别处理遥感图像、街景图像和地理位置信息；2) 使用INR模块学习遥感图像的连续表示，并根据街景图像的地理位置提取对应的嵌入；3) 使用对比学习目标训练模型，使得地理位置相近的街景图像和遥感图像的嵌入也相近。对比学习的损失函数采用InfoNCE loss。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GAIR在10个地理空间任务上进行了评估，包括遥感图像分类、街景图像定位、地理位置预测等。实验结果表明，GAIR在所有任务上都优于最先进的GeoFM和其他强大的基线。例如，在遥感图像分类任务上，GAIR的准确率比现有最佳模型提高了5%以上。这些结果证明了GAIR在学习通用地理空间表征方面的有效性和可迁移性。

🎯 应用场景

GAIR具有广泛的应用前景，例如城市规划、环境监测、自动驾驶、地图生成等。通过融合多模态地理空间数据，GAIR可以提供更全面、更准确的地理信息，从而支持更智能的决策和更高效的应用。未来，GAIR可以进一步扩展到更多模态的数据，例如LiDAR、SAR等，从而构建更强大的地理基础模型。

📄 摘要（原文）

Advancements in vision and language foundation models have inspired the development of geo-foundation models (GeoFMs), enhancing performance across diverse geospatial tasks. However, many existing GeoFMs primarily focus on overhead remote sensing (RS) data while neglecting other data modalities such as ground-level imagery. A key challenge in multimodal GeoFM development is to explicitly model geospatial relationships across modalities, which enables generalizability across tasks, spatial scales, and temporal contexts. To address these limitations, we propose GAIR, a novel multimodal GeoFM architecture integrating overhead RS data, street view (SV) imagery, and their geolocation metadata. We utilize three factorized neural encoders to project an SV image, its geolocation, and an RS image into the embedding space. The SV image needs to be located within the RS image's spatial footprint but does not need to be at its geographic center. In order to geographically align the SV image and RS image, we propose a novel implicit neural representations (INR) module that learns a continuous RS image representation and looks up the RS embedding at the SV image's geolocation. Next, these geographically aligned SV embedding, RS embedding, and location embedding are trained with contrastive learning objectives from unlabeled data. We evaluate GAIR across 10 geospatial tasks spanning RS image-based, SV image-based, and location embedding-based benchmarks. Experimental results demonstrate that GAIR outperforms state-of-the-art GeoFMs and other strong baselines, highlighting its effectiveness in learning generalizable and transferable geospatial representations.