A Spatially Masked Adaptive Gated Network for multimodal post-flood water extent mapping using SAR and incomplete multispectral data
作者: Hyunho Lee, Wenwen Li
分类: cs.CV
发布日期: 2025-12-31
备注: 50 pages, 12 figures, 6 tables
期刊: ISPRS Journal of Photogrammetry and Remote Sensing, 232, 492-508, 2026
DOI: 10.1016/j.isprsjprs.2025.12.023
💡 一句话要点
提出SMAGNet，利用SAR和不完整MSI数据进行洪水范围精确高效的多模态映射。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 洪水范围测绘 多模态融合 合成孔径雷达 多光谱影像 深度学习 自适应门控 空间掩蔽
📋 核心要点
- 现有方法难以有效融合不完整的多光谱影像（MSI）数据与合成孔径雷达（SAR）数据，限制了洪水范围测绘的精度和鲁棒性。
- SMAGNet通过空间掩蔽和自适应门控机制，有效融合SAR和不完整的MSI数据特征，提升洪水范围测绘的准确性和对数据缺失的鲁棒性。
- 实验表明，SMAGNet在不同MSI数据可用性下均优于其他多模态模型，即使MSI数据缺失，性能也与SAR-only U-Net相当。
📝 摘要（中文）
洪水期间的水域范围测绘对于灾害管理的各个阶段至关重要。特别是在响应阶段，及时准确的信息至关重要，合成孔径雷达（SAR）数据主要用于生成水域范围图。最近，利用SAR和多光谱影像（MSI）数据的互补特性，通过多模态方法已成为使用深度学习模型推进水域范围测绘的一种有前景的策略。当洪水峰值期间或之后获得的及时洪水后观测数据有限时，这种方法尤其有益，因为它能够使用所有可用的图像进行更准确的洪水后水域范围测绘。为了弥合这一研究空白，我们提出了空间掩蔽自适应门控网络（SMAGNet），这是一种多模态深度学习模型，它利用SAR数据作为洪水后水域范围测绘的主要输入，并通过特征融合集成互补的MSI数据。在C2S-MS Floods数据集上的实验表明，在不同MSI数据可用性水平下，SMAGNet在预测性能方面始终优于其他多模态深度学习模型。此外，我们发现，即使MSI数据完全缺失，SMAGNet的性能在统计上仍与仅在SAR数据上训练的U-Net模型相当。这些发现表明，SMAGNet增强了模型对缺失数据的鲁棒性，以及多模态深度学习在实际洪水管理场景中的适用性。
🔬 方法详解
问题定义：论文旨在解决在洪水事件中，如何利用合成孔径雷达（SAR）数据和部分可用的多光谱影像（MSI）数据，更准确、更鲁棒地进行洪水范围测绘的问题。现有方法在处理不完整的MSI数据时，无法有效融合多模态信息，导致精度下降，并且对数据缺失的鲁棒性较差。
核心思路：论文的核心思路是设计一个能够自适应地融合SAR和MSI数据的深度学习模型，即使MSI数据不完整甚至缺失，也能保持较高的测绘精度。通过空间掩蔽机制处理MSI数据的缺失，并利用自适应门控机制控制MSI数据对最终预测的影响，从而提高模型的鲁棒性。
技术框架：SMAGNet的整体架构包括以下几个主要模块：1) SAR数据编码器：提取SAR数据的特征；2) MSI数据编码器：提取MSI数据的特征，并使用空间掩蔽处理缺失数据；3) 自适应门控模块：根据SAR和MSI数据的特征，动态调整MSI数据对最终预测的影响；4) 解码器：将融合后的特征解码为洪水范围预测图。整个流程以SAR数据为主导，MSI数据作为辅助信息，通过自适应融合提升性能。
关键创新：SMAGNet的关键创新在于空间掩蔽自适应门控机制。空间掩蔽能够有效处理MSI数据的缺失，避免无效信息干扰模型训练。自适应门控机制能够根据数据的质量和相关性，动态调整MSI数据对最终预测的影响，从而提高模型的鲁棒性和泛化能力。与传统的特征融合方法相比，SMAGNet能够更好地利用不完整的多模态数据。
关键设计：SMAGNet使用了U-Net作为基本的编码器-解码器结构。空间掩蔽通过将缺失的MSI数据区域设置为零来实现。自适应门控模块使用sigmoid函数生成一个门控权重，该权重用于控制MSI特征对融合特征的影响。损失函数采用二元交叉熵损失，用于优化洪水范围的预测结果。具体的网络结构参数（如卷积核大小、通道数等）根据实验进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SMAGNet在C2S-MS Floods数据集上优于其他多模态深度学习模型。在不同MSI数据可用性水平下，SMAGNet的F1-score和IoU指标均显著提升。即使MSI数据完全缺失，SMAGNet的性能也与仅使用SAR数据训练的U-Net模型相当，证明了其对数据缺失的鲁棒性。
🎯 应用场景
该研究成果可应用于灾害应急响应、洪水风险评估、城市规划和水资源管理等领域。通过更准确的洪水范围测绘，可以为灾害救援提供决策支持，减少人员伤亡和财产损失。此外，该方法还可以用于构建更可靠的洪水风险模型，为城市规划和基础设施建设提供科学依据。
📄 摘要（原文）
Mapping water extent during a flood event is essential for effective disaster management throughout all phases: mitigation, preparedness, response, and recovery. In particular, during the response stage, when timely and accurate information is important, Synthetic Aperture Radar (SAR) data are primarily employed to produce water extent maps. Recently, leveraging the complementary characteristics of SAR and MSI data through a multimodal approach has emerged as a promising strategy for advancing water extent mapping using deep learning models. This approach is particularly beneficial when timely post-flood observations, acquired during or shortly after the flood peak, are limited, as it enables the use of all available imagery for more accurate post-flood water extent mapping. However, the adaptive integration of partially available MSI data into the SAR-based post-flood water extent mapping process remains underexplored. To bridge this research gap, we propose the Spatially Masked Adaptive Gated Network (SMAGNet), a multimodal deep learning model that utilizes SAR data as the primary input for post-flood water extent mapping and integrates complementary MSI data through feature fusion. In experiments on the C2S-MS Floods dataset, SMAGNet consistently outperformed other multimodal deep learning models in prediction performance across varying levels of MSI data availability. Furthermore, we found that even when MSI data were completely missing, the performance of SMAGNet remained statistically comparable to that of a U-Net model trained solely on SAR data. These findings indicate that SMAGNet enhances the model robustness to missing data as well as the applicability of multimodal deep learning in real-world flood management scenarios.