Smart Transfer: Leveraging Vision Foundation Model for Rapid Building Damage Mapping with Post-Earthquake VHR Imagery

📄 arXiv: 2604.02627 📥 PDF

作者: Hao Li, Liwei Zou, Wenping Yin, Gulsen Taskin, Naoto Yokoya, Danfeng Hong, Wufan Zhao

分类: cs.CV, cs.AI, cs.MM

发布日期: 2026-04-06

💡 一句话要点

Smart Transfer：利用视觉基础模型快速绘制震后高分辨率影像的建筑物损毁图

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 建筑物损毁评估 视觉基础模型 迁移学习 遥感影像 地理空间人工智能

📋 核心要点

  1. 传统灾害评估方法难以泛化到不同城市形态和新灾害事件，需要大量人工标注，效率低下。
  2. Smart Transfer利用视觉基础模型，通过像素级聚类和距离惩罚三元组损失，实现跨区域的快速建筑物损毁评估。
  3. 在2023年土耳其-叙利亚地震数据集上的实验表明，该方法在跨区域迁移中表现出良好的性能。

📝 摘要（中文）

面对日益频繁和严重的自然灾害，快速灾害响应至关重要。传统灾害评估方法难以泛化到不同的城市形态和新的灾害事件，且需要耗时的人工标注。为了解决这个问题，本文提出了Smart Transfer，一种新的地理空间人工智能（GeoAI）框架，利用最先进的视觉基础模型（FMs）和震后高分辨率（VHR）影像，实现快速建筑物损毁图绘制。具体来说，设计了两种新的模型迁移策略：像素级聚类（PC），确保鲁棒的原型级全局特征对齐；距离惩罚三元组（DPT），通过对语义不一致但空间相邻的图像块施加更强的惩罚，整合图像块级的空间自相关模式。在2023年土耳其-叙利亚地震的广泛实验和消融研究表明，该方法在多个跨区域迁移设置（即留一区域法（LODO）和特定源域组合（SSDC））中表现出良好的性能。Smart Transfer提供了一种可扩展的自动化GeoAI解决方案，加速建筑物损毁图绘制，支持快速灾害响应，为提高气候脆弱地区和社区的灾害韧性提供了新的机会。

🔬 方法详解

问题定义：论文旨在解决地震后利用高分辨率遥感影像快速准确地绘制建筑物损毁图的问题。现有方法的痛点在于，需要大量人工标注，且难以泛化到新的区域和灾害事件中，尤其是在缺乏标注数据的区域。

核心思路：论文的核心思路是利用视觉基础模型强大的特征提取能力，结合迁移学习策略，将已标注区域的知识迁移到未标注或少标注的新区域。通过设计特定的损失函数和训练策略，使模型能够更好地适应不同区域的遥感影像特征，从而实现快速准确的损毁评估。

技术框架：Smart Transfer框架主要包含以下几个阶段：1) 数据预处理：对高分辨率遥感影像进行裁剪、归一化等处理。2) 特征提取：利用视觉基础模型提取图像的全局和局部特征。3) 模型训练：使用像素级聚类（PC）和距离惩罚三元组（DPT）损失函数训练模型，实现特征对齐和空间关系建模。4) 损毁评估：利用训练好的模型对新的遥感影像进行损毁评估。

关键创新：论文的关键创新在于提出了两种新的模型迁移策略：像素级聚类（PC）和距离惩罚三元组（DPT）。PC策略通过聚类像素特征，实现原型级别的全局特征对齐，增强模型的泛化能力。DPT策略通过对语义不一致但空间相邻的图像块施加更强的惩罚，整合图像块级的空间自相关模式，提高损毁评估的准确性。

关键设计：像素级聚类（PC）损失函数旨在拉近同一类别的像素特征，推远不同类别的像素特征。距离惩罚三元组（DPT）损失函数则是在传统三元组损失的基础上，引入了空间距离惩罚项，使得空间相邻但语义不同的图像块之间的距离更大。具体的网络结构使用了视觉基础模型作为backbone，并在此基础上添加了用于损毁评估的分类器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Smart Transfer在2023年土耳其-叙利亚地震数据集上取得了显著的性能提升。在跨区域迁移设置下，例如留一区域法（LODO）和特定源域组合（SSDC），该方法能够有效地利用已标注区域的知识，实现对新区域的准确损毁评估。相较于传统方法，Smart Transfer在精度和效率上均有明显优势。

🎯 应用场景

该研究成果可应用于地震、洪水等自然灾害发生后的快速灾害评估，为救援行动提供决策支持。通过自动化损毁图绘制，可以大幅缩短灾害响应时间，提高救援效率，减少人员伤亡和财产损失。此外，该方法还可以推广到其他遥感影像分析任务中，如土地利用分类、城市规划等。

📄 摘要（原文）

Living in a changing climate, human society now faces more frequent and severe natural disasters than ever before. As a consequence, rapid disaster response during the "Golden 72 Hours" of search and rescue becomes a vital humanitarian necessity and community concern. However, traditional disaster damage surveys routinely fail to generalize across distinct urban morphologies and new disaster events. Effective damage mapping typically requires exhaustive and time-consuming manual data annotation. To address this issue, we introduce Smart Transfer, a novel Geospatial Artificial Intelligence (GeoAI) framework, leveraging state-of-the-art vision Foundation Models (FMs) for rapid building damage mapping with post-earthquake Very High Resolution (VHR) imagery. Specifically, we design two novel model transfer strategies: first, Pixel-wise Clustering (PC), ensuring robust prototype-level global feature alignment; second, a Distance-Penalized Triplet (DPT), integrating patch-level spatial autocorrelation patterns by assigning stronger penalties to semantically inconsistent yet spatially adjacent patches. Extensive experiments and ablations from the recent 2023 Turkiye-Syria earthquake show promising performance in multiple cross-region transfer settings, namely Leave One Domain Out (LODO) and Specific Source Domain Combination (SSDC). Moreover, Smart Transfer provides a scalable, automated GeoAI solution to accelerate building damage mapping and support rapid disaster response, offering new opportunities to enhance disaster resilience in climate-vulnerable regions and communities. The data and code are publicly available atthis https URL.