LoCA: Enabling Multi-Modality in Geospatial Location Encoders

📄 arXiv: 2610.32894v1 📥 PDF

作者: Panagiotis Koromilas, Eleanna Vali, Diogenis Antonopoulos, Eleni Saka, Dimitris Christofis, Nikolaos Ioannis Bountos, Konstantin Klemmer, Ioannis Papoutsis, Yannis Panagakis, Mihalis A. Nicolaou

分类: cs.CV, cs.LG

发布日期: 2026-10-23

💡 一句话要点

提出LoCA以解决多模态地理位置编码问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态编码 地理位置编码 对比学习 高秩目标 环境监测 机器学习 地球观测

📋 核心要点

  1. 现有位置编码器在多模态输入下难以同时映射单一位置到多个不兼容的描述符，导致性能受限。
  2. 论文提出的LoCA方法通过两阶段训练，解决了多模态编码中的对齐和高秩目标问题。
  3. 在17个任务上，LoCA在性能上超过了五个最先进的编码器，显示出显著的提升和优势。

📝 摘要（中文）

位置编码器通过与配对的地球观测图像进行对比对齐，将地理坐标映射到高维描述符。我们证明了这种构造在结构上是有限的：任何Lipschitz位置编码器的输出内在维度最多为2，这迫使对比损失严格超过其渐近最优值。尽管当前位置编码器受限于维度，但通过与冻结的图像编码器训练，规避了这种谱崩溃。我们提出LoCA（位置对比对齐），一个两阶段的管道，满足多模态输入的要求。第一阶段联合训练Sentinel-1和Sentinel-2编码器，生成共对齐的高秩多模态目标。第二阶段冻结图像编码器，训练位置和表格元数据编码器作为投影适配器。LoCA在17个任务上超越五个最先进的编码器，获得最多的任务胜利。

🔬 方法详解

问题定义：论文要解决的问题是现有位置编码器在多模态输入下的局限性，尤其是在对齐和高秩目标方面的挑战。现有方法通过冻结图像编码器来规避谱崩溃，但在多模态场景中难以有效映射。

核心思路：论文的核心解决思路是提出LoCA，通过两阶段的训练流程，首先联合训练不同传感器的编码器以生成高秩目标，然后利用对比学习训练位置编码器和元数据编码器。这样的设计旨在确保多模态输入的有效对齐和高效表示。

技术框架：整体架构分为两个主要阶段：第一阶段联合训练Sentinel-1和Sentinel-2编码器，生成共对齐的高秩多模态目标；第二阶段冻结图像编码器，训练位置编码器和表格元数据编码器作为投影适配器，使用多视图对比学习。

关键创新：LoCA的最重要技术创新在于其两阶段训练策略，特别是通过对比学习实现的高秩目标生成，这与现有方法的单一训练策略形成了本质区别。

关键设计：在设计上，LoCA使用了对比损失函数来优化编码器的输出，同时确保在多模态输入下的共对齐。关键参数设置包括对比学习的超参数和冻结图像编码器的策略，以确保训练的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在与五个最先进的编码器的比较中，LoCA在17个任务上获得了最多的任务胜利，并且是唯一一个在大多数任务上超越其他模型的方案，整体任务胜率达到68.8%。

🎯 应用场景

该研究的潜在应用领域包括土地覆盖监测、野火预测、地球物理、社会经济分析、生物多样性和气候变化等。通过提高多模态地理位置编码的准确性，LoCA能够为环境监测和资源管理提供更可靠的数据支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Location encoders map geographic coordinates to high-dimensional descriptors through contrastive alignment with paired Earth Observation imagery. We prove that this construction is structurally limited: any Lipschitz location encoder produces an output of intrinsic dimension at most 2, regardless of architecture or bandwidth, which forces the contrastive loss to strictly exceed its asymptotic optimum. Empirically, joint training also collapses the encoder's embedding covariance to low rank. Although dimension-limited, current location encoders sidestep this spectral collapse by training against a frozen image encoder, which we reinterpret as a covariance regularizer that supplies a high-rank target for the location encoder to fold onto. However, extending this approach to multimodal inputs is challenging, as location encoders should simultaneously map a single location to multiple, potentially incompatible, descriptors. We identify two requirements a regularizer must satisfy for location encoding in multimodal regimes: co-alignment across modalities, since adapters alone cannot align independently pretrained encoders; and high effective rank, since the location encoder inherits its target's spectrum. We propose LoCA (Location Contrastive Alignment), a two-stage pipeline that satisfies both. Stage 1 jointly trains Sentinel-1 and Sentinel-2 encoders with contrastive learning, producing a co-aligned, high-rank multimodal target. Stage 2 freezes the image encoders and trains a location and a tabular metadata encoder as projection adapters with multi-view contrastive learning. Against five state-of-the-art encoders on 17 tasks ranging from land cover and wildfire forecasting to geophysical, socio-economic, biodiversity and climate applications, LoCA achieves the most task wins, is the only model to outperform every other on a majority of tasks, and wins 68.8% of all per-task comparisons.