Towards Consistent Geospatial Representations: Aligning One Encoder to Many Foundation Models

📄 arXiv: 2610.28313v1 📥 PDF

作者: Arthur Ouaknine, David Rolnick

分类: cs.CV

发布日期: 2026-10-20

备注: Accepted at NeurIPS REO Workshop 2026

💡 一句话要点

提出GeoMixture以解决地理空间模型一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理空间模型 多模态对齐 视觉变换器 模型一致性 深度学习

📋 核心要点

  1. 现有的地理空间基础模型在多个基准测试中表现不一，缺乏一致性，导致难以选择最佳模型。
  2. 本文提出GeoMixture框架，通过多表示对齐目标，将一个视觉变换器（ViT）与多个GFM对齐，以实现更好的跨任务表现。
  3. 实验结果表明，所提出的编码器在多个数据集上与最佳GFM的平均排名相当，展示了其在一致性方面的优势。

📝 摘要（中文）

地理空间基础模型（GFM）在预训练目标、模态和分辨率上存在显著差异，且在基准测试中没有单一模型表现最佳。本文探讨这些表示是否互补，以及单一编码器是否能够继承这种互补性。我们引入Pangaea-Latents，扩展Pangaea基准，提供5个GFM在11个数据集上的冻结嵌入，并发现GFM嵌入既不冗余也不孤立。接着，我们提出GeoMixture，一个初步框架，通过多表示对齐（mREPA）目标将ViT对齐到每个数据集的多个GFM。我们的编码器在九个Pangaea数据集上的平均排名中与最佳GFM相当，牺牲了峰值性能以换取跨任务一致性。

🔬 方法详解

问题定义：本文旨在解决地理空间基础模型（GFM）之间的表示不一致性问题。现有方法在不同基准测试中的表现差异较大，缺乏有效的模型选择策略。

核心思路：我们提出GeoMixture框架，利用多表示对齐（mREPA）目标，将一个视觉变换器（ViT）与多个GFM对齐，从而实现模型之间的互补性和一致性。

技术框架：该框架包括数据集的选择、GFM嵌入的生成、对齐过程的设计以及最终模型的训练。具体而言，我们为每个数据集生成多个GFM的冻结嵌入，并通过对齐算法优化ViT的表示。

关键创新：最重要的创新在于提出了多表示对齐目标（mREPA），使得单一编码器能够有效整合来自多个GFM的信息，克服了传统方法的局限性。

关键设计：在设计中，我们采用了特定的损失函数来优化对齐过程，并在网络结构上进行了调整，以确保编码器能够有效学习到不同GFM的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的GeoMixture框架在九个Pangaea数据集上的平均排名与最佳GFM相当，尽管在峰值性能上有所牺牲，但在跨任务一致性方面表现出显著提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括地理信息系统（GIS）、环境监测、城市规划等。通过实现不同地理空间模型之间的有效对齐，能够提高模型在实际应用中的一致性和可靠性，进而推动相关领域的研究与发展。

📄 摘要（原文）

Geospatial foundation models (GFMs) differ widely in pretraining objective, modality and resolution, and none leads across benchmarks. We ask whether their representations are complementary, and whether a single encoder can inherit that complementarity. We introduce Pangaea-Latents, an extension of the Pangaea benchmark providing frozen embeddings of $5$ GFMs over its $11$ datasets, along with reproduced baselines, and find GFM embeddings to be neither redundant nor disjoint. We then propose GeoMixture, a preliminary framework to align a ViT to several GFMs per dataset through a multi-representation alignment (mREPA) objective. Our encoder ties the best GFM in average rank across nine Pangaea datasets, trading peak performance for cross-task consistency.