Flood-DamageSense: Multimodal Mamba with Multitask Learning for Building Flood Damage Assessment using SAR Remote Sensing Imagery
作者: Yu-Hsuan Ho, Ali Mostafavi
分类: cs.CV, cs.LG, eess.IV
发布日期: 2025-06-07
💡 一句话要点
Flood-DamageSense：结合多模态Mamba与多任务学习的SAR遥感建筑洪水损毁评估框架
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 洪水损毁评估 多模态遥感 Mamba架构 多任务学习 SAR遥感 深度学习 风险感知
📋 核心要点
- 现有灾后损毁分类器在洪水场景下表现不佳，因为洪水过后建筑物的光谱或结构特征变化不明显。
- Flood-DamageSense融合多模态数据（SAR、光学底图、洪水风险层），利用Mamba架构进行风险感知的建筑物损毁评估。
- 实验表明，Flood-DamageSense在飓风哈维数据集上，F1得分比现有方法提升高达19个百分点，尤其在轻微和中度损毁类别上。
📝 摘要（中文）
大多数灾后损毁分类器仅在破坏性力量留下清晰的光谱或结构特征时才能成功，而洪水过后很少出现这种情况。因此，现有模型在识别与洪水相关的建筑物损毁方面表现不佳。本研究提出的模型Flood-DamageSense弥补了这一空白，它是第一个专为建筑物级别洪水损毁评估而构建的深度学习框架。该架构融合了灾前和灾后的SAR/InSAR场景与超高分辨率光学底图以及固有的洪水风险层，该风险层编码了长期暴露概率，即使在成分变化最小的情况下也能引导网络识别可能受影响的结构。具有半暹罗编码器和特定任务解码器的多模态Mamba骨干网络联合预测（1）分级的建筑物损毁状态，（2）洪水范围，以及（3）建筑物轮廓。在德克萨斯州哈里斯县的飓风哈维（2017）图像上进行的训练和评估（由保险衍生的财产损失范围支持）显示，平均F1得分比最先进的基线提高了高达19个百分点，其中在经常被错误分类的“轻微”和“中度”损毁类别中增益最大。消融研究表明，固有风险特征是性能提升的最重要因素。端到端后处理流程可在图像采集后几分钟内将像素级输出转换为可操作的建筑物尺度损毁地图。通过将风险感知建模与SAR的全天候能力相结合，Flood-DamageSense提供更快、更精细、更可靠的洪水损毁情报，以支持灾后决策和资源分配。
🔬 方法详解
问题定义：论文旨在解决洪水灾害后建筑物损毁评估的问题。现有方法在洪水场景下，由于建筑物光谱或结构特征变化不明显，导致损毁评估精度低，难以满足灾后快速决策和资源分配的需求。
核心思路：论文的核心思路是融合多模态遥感数据，并引入洪水风险先验知识，利用Mamba架构进行风险感知的建筑物损毁评估。通过结合SAR/InSAR数据、高分辨率光学底图和洪水风险层，模型能够更准确地识别受损建筑物，即使在建筑物外观变化不明显的情况下也能有效工作。
技术框架：Flood-DamageSense采用多模态Mamba架构，包含一个半暹罗编码器和多个特定任务的解码器。编码器负责提取多模态数据的特征，解码器则分别预测建筑物损毁等级、洪水范围和建筑物轮廓。整体流程包括数据预处理、特征提取、多任务学习和后处理等步骤。
关键创新：该论文的关键创新在于以下几点：1) 首次提出专为建筑物级别洪水损毁评估而设计的深度学习框架；2) 融合多模态遥感数据和洪水风险先验知识，提高模型对洪水损毁的识别能力；3) 采用Mamba架构，有效处理遥感图像中的长距离依赖关系。与现有方法相比，Flood-DamageSense能够更准确、更快速地评估洪水灾害造成的建筑物损毁。
关键设计：模型采用半暹罗编码器结构，分别处理灾前和灾后的SAR/InSAR数据。洪水风险层被作为额外的输入特征，引导网络关注可能受影响的建筑物。损失函数采用多任务学习的方式，联合优化建筑物损毁等级、洪水范围和建筑物轮廓的预测结果。后处理流程将像素级输出转换为建筑物尺度的损毁地图，方便用户使用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Flood-DamageSense在飓风哈维数据集上取得了显著的性能提升，平均F1得分比最先进的基线提高了高达19个百分点。尤其是在经常被错误分类的“轻微”和“中度”损毁类别中，性能提升更为明显。消融研究表明，固有风险特征是性能提升的最重要因素。
🎯 应用场景
Flood-DamageSense可应用于灾后快速损毁评估、应急响应和资源分配。该模型能够为政府部门、保险公司和救援组织提供及时、准确的建筑物损毁信息，帮助他们更好地制定救援计划、评估损失和分配资源。此外，该模型还可以用于城市规划和风险管理，提高城市应对洪水灾害的能力。
📄 摘要（原文）
Most post-disaster damage classifiers succeed only when destructive forces leave clear spectral or structural signatures -- conditions rarely present after inundation. Consequently, existing models perform poorly at identifying flood-related building damages. The model presented in this study, Flood-DamageSense, addresses this gap as the first deep-learning framework purpose-built for building-level flood-damage assessment. The architecture fuses pre- and post-event SAR/InSAR scenes with very-high-resolution optical basemaps and an inherent flood-risk layer that encodes long-term exposure probabilities, guiding the network toward plausibly affected structures even when compositional change is minimal. A multimodal Mamba backbone with a semi-Siamese encoder and task-specific decoders jointly predicts (1) graded building-damage states, (2) floodwater extent, and (3) building footprints. Training and evaluation on Hurricane Harvey (2017) imagery from Harris County, Texas -- supported by insurance-derived property-damage extents -- show a mean F1 improvement of up to 19 percentage points over state-of-the-art baselines, with the largest gains in the frequently misclassified "minor" and "moderate" damage categories. Ablation studies identify the inherent-risk feature as the single most significant contributor to this performance boost. An end-to-end post-processing pipeline converts pixel-level outputs to actionable, building-scale damage maps within minutes of image acquisition. By combining risk-aware modeling with SAR's all-weather capability, Flood-DamageSense delivers faster, finer-grained, and more reliable flood-damage intelligence to support post-disaster decision-making and resource allocation.