Shortcut Learning in Geospatial Foundation Model Embeddings for Cross-Disaster Damage Assessment

📄 arXiv: 2610.13766v1 📥 PDF

作者: Ali Shibli, Andrea Nascetti, Yifang Ban

分类: cs.CV, cs.LG

发布日期: 2026-10-09

备注: NeurIPS REO Workshop 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出地理基础模型嵌入以解决跨灾害损伤评估中的快捷学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理基础模型 跨灾害评估 快捷学习 特征变换 模型泛化 监督对比学习 主成分分析

📋 核心要点

  1. 现有的地理基础模型在熟悉的灾害上表现出高准确率，但可能存在快捷学习现象，导致模型在新灾害上的泛化能力不足。
  2. 本文提出通过分析不同特征信息对预测的支持程度，探索特征变换以提升模型在未见灾害上的表现。
  3. 实验结果显示，保留整个灾害进行评估显著降低了模型的平均平衡准确率，且特征变换方法有效提升了模型的泛化能力。

📝 摘要（中文）

地理基础模型可以支持灾害损伤评估，但在熟悉的灾害上高准确率可能掩盖了快捷学习现象，即基于事件或场景特征进行预测，而非可迁移的证据。本文研究了TerraMind、Prithvi-EO-2.0、DOFA和DINOv3的嵌入在多灾害数据集xView2和BRIGHT上的表现。通过保留整个灾害而非随机分割图像块，xView2的平均平衡准确率从0.807降至0.638，BRIGHT则从0.818降至0.568。四组测试考察了支持预测的信息，包括事件和获取上下文、前后图像输入、建筑数量和正确的图像配对。结果表明，前事件图像仍具预测能力，且仅使用标注建筑数量的分类器达到0.629和0.653的平衡准确率。结合前后特征在xView2上表现最佳，但在BRIGHT上未能超越前特征。通过对同一灾害和损伤类别内的图像对进行洗牌，造成了适度损失。基于这些发现，本文测试了仅从训练灾害中学习的特征变换是否能改善对未见灾害的泛化能力，结果表明这些变换确实提升了性能，监督对比学习在xView2上表现最佳，而主成分分析在BRIGHT上效果较好。我们的结果强调了在未见领域评估模型鲁棒性的重要性，并表明简单的特征级变换可以改善泛化能力。

🔬 方法详解

问题定义：本文旨在解决地理基础模型在跨灾害损伤评估中存在的快捷学习问题，现有方法在熟悉灾害上表现良好，但在新灾害上泛化能力不足。

核心思路：通过分析不同特征信息（如事件上下文、前后图像等）对模型预测的影响，探索特征变换以提高模型在未见灾害上的泛化能力。

技术框架：研究采用了多种模型（如TerraMind、Prithvi-EO-2.0等）对xView2和BRIGHT数据集进行评估，重点分析了保留整个灾害与随机分割图像块的效果差异。

关键创新：本研究的创新在于通过特征变换提升模型在未见灾害上的泛化能力，尤其是监督对比学习和主成分分析的应用，显著改善了模型性能。

关键设计：实验中采用了多种特征组合和图像配对策略，关键参数设置包括图像对的洗牌和特征变换的选择，确保模型在不同灾害条件下的鲁棒性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，保留整个灾害进行评估使得xView2的平均平衡准确率从0.807降至0.638，BRIGHT则从0.818降至0.568。特征变换方法显著提升了模型性能，监督对比学习在xView2上表现最佳，主成分分析在BRIGHT上效果较好，强调了在未见领域评估模型鲁棒性的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然灾害监测、城市规划和应急响应等。通过提高模型在未见灾害上的泛化能力，可以更有效地进行灾后损伤评估，从而为决策提供更可靠的数据支持，未来可能在灾害管理和救援行动中发挥重要作用。

📄 摘要（原文）

Geospatial foundation models can support disaster damage assessment, but high accuracy on familiar disasters may hide shortcut learning: prediction from event or scene characteristics rather than evidence that transfers to a new disaster. We study embeddings from TerraMind, Prithvi-EO-2.0, DOFA, and DINOv3 on the multi-disaster datasets xView2 and BRIGHT. Holding out an entire disaster, instead of randomly splitting image tiles, reduces mean balanced accuracy from 0.807 to 0.638 on xView2 and from 0.818 to 0.568 on BRIGHT. Four sets of tests examine what information supports prediction: event and acquisition context, before/after image inputs, building count, and correct image pairing. Pre-event images remain predictive, and a classifier given only the annotated number of buildings reaches balanced accuracy of 0.629 and 0.653. Combining before/after features performs best on average on xView2, but does not improve over pre-only features on BRIGHT. Shuffling image pairs within the same disaster and damage class causes modest losses. Motivated by these findings, we test whether feature transformations learned only from training disasters improve generalization to unseen disasters. These transformations improve performance, with supervised contrastive learning performing best on xView2 and PCA on BRIGHT. Our results highlight the importance of evaluation on unseen domains for assessing model robustness and show that simple feature-level transformations can improve generalization. Code and experiments can be found at https://github.com/alishibli97/gfm-shortcut-learning.