GeoLEON-CLIP: Graph-Anchored Multimodal Contrastive Learning for Geographic Region Representation
作者: Radoslaw Malek, Szymon Soltysiak, Aleksandra Kawala-Sterniuk, Piotr Szymanski
分类: cs.CV, cs.LG
发布日期: 2026-10-23
备注: Accepted at the 9th International Workshop on AI for Geographic Knowledge Discovery (GeoAI 2026), co-located with the 34th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (SIGSPATIAL 2026)
💡 一句话要点
提出GeoLEON-CLIP以解决地理区域多模态表示问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 对比学习 地理信息系统 图嵌入 卫星图像 文本表示 OpenStreetMap 跨模态检索
📋 核心要点
- 现有的地理对比方法通常只对齐图像和文本，未能充分利用结构化地图数据，导致信息利用不足。
- GeoLEON-CLIP通过引入图锚定的对比学习框架，整合图像、文本和地图数据，提升多模态表示的效果。
- 实验结果表明，图像到图的检索和文本到图的检索在性能上分别提升了4.8和4.4个百分点，显示出显著的改进。
📝 摘要（中文）
地理区域具有多模态特性：卫星图像捕捉视觉形态，文本传达可理解的语义，地图结构描述城市背景。现有的地理对比方法通常仅对齐图像-文本或图像-位置对，未充分利用结构化地图数据。我们提出了GeoLEON-CLIP，一个图锚定的对比框架，能够对齐每个H3索引区域的三种视图：基于OpenStreetMap的图嵌入、卫星图像裁剪和文本描述。通过冻结的预训练LEON图嵌入提供视觉与语言之间的语义锚点。冻结的图、图像和文本编码器通过可训练的残差投影头连接，并使用对称的三模态对比目标进行训练。实验结果显示图像与图的对齐效果良好，图像检索在混合分辨率池中表现最佳。
🔬 方法详解
问题定义：本论文旨在解决现有地理对比学习方法未能充分利用结构化地图数据的问题，导致多模态信息的对齐效果不佳。
核心思路：GeoLEON-CLIP通过引入图锚定的对比学习框架，整合卫星图像、文本描述和地图结构，利用图嵌入作为语义锚点，从而提升多模态表示的对齐效果。
技术框架：该框架包括三个主要模块：OpenStreetMap生成的图嵌入、卫星图像裁剪和文本描述。冻结的图、图像和文本编码器通过可训练的残差投影头连接，并使用对称的三模态对比损失进行训练。
关键创新：最重要的创新在于引入了图锚定的对比学习方法，能够同时对齐图像、文本和地图数据，显著提升了跨模态检索的性能。
关键设计：采用冻结的预训练LEON图嵌入作为语义锚点，设计了对称的三模态对比损失函数，以确保图像、文本和图的有效对齐。
🖼️ 关键图片
📊 实验亮点
实验结果显示，图像到图的检索和文本到图的检索在R@1@1指标上分别提升了4.8和4.4个百分点，超越了直接的图像-文本检索，表明图锚定方法在跨模态检索中的有效性。
🎯 应用场景
该研究的潜在应用领域包括城市规划、环境监测和智能交通等。通过更好地整合多模态数据，GeoLEON-CLIP能够为地理信息系统提供更精准的分析工具，未来可能在智能城市建设和地理信息服务中发挥重要作用。
📄 摘要（原文）
Geographic regions are multimodal: satellite imagery captures visual morphology, text conveys human-interpretable semantics, and map structures describe urban context. Existing geospatial contrastive methods typically align image-text or image-location pairs, underusing structured map data. We introduce GeoLEON-CLIP, a graph-anchored contrastive framework that aligns three views of each H3-indexed region: an OpenStreetMap-derived graph embedding, a satellite image crop, and a textual description. Frozen pretrained LEON graph embeddings provide a semantic anchor between vision and language. Frozen graph, image, and text encoders are connected by trainable residual projection heads and trained with a symmetric tri-modal contrastive objective. Experiments show strong graph-image and graph-text alignment; graph-image retrieval achieves the best cross-modal performance in a mixed-resolution pool. To evaluate the anchoring hypothesis, we propose chained cross-modal recall $\mathrm{R}@A@B$, which routes retrieval through the graph modality and compares it with direct retrieval under a matched candidate budget. At $\mathrm{R}@1@1$, image$\rightarrow$graph$\rightarrow$text and text$\rightarrow$graph$\rightarrow$image outperform direct image-text retrieval by 4.8 and 4.4 points, respectively, despite using a single intermediate cell. Downstream probes show task-dependent gains, with the largest improvements on Airbnb and Beijing housing. These results indicate that OpenStreetMap graph structure can anchor multimodal representations combining maps, imagery, and language.