FLoRA: Fusion-Latent for Optical Reconstruction and Flood Area Segmentation via Cross-Modal Multi-Task Distillation Network

📄 arXiv: 2605.02137v1 📥 PDF

作者: Jagrati Talreja, Tewodros Syum Gebre, Leila Hashemi-Beni

分类: cs.CV, cs.AI

发布日期: 2026-05-04

备注: Submitted to the IEEE Journal

💡 一句话要点

FLoRA：融合潜在空间的光学重建与洪水区域分割跨模态蒸馏网络

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 洪水分割 SAR图像 光学图像 多模态融合 特征蒸馏

📋 核心要点

  1. 现有洪水水域测绘方法难以有效利用光学和SAR数据的互补优势，限制了灾害管理的精度和效率。
  2. FLoRA通过跨模态多任务学习，利用光学教师引导SAR特征进入融合潜在空间，实现高保真光学重建和精确洪水分割。
  3. 实验结果表明，FLoRA在多个数据集上超越现有融合方法，显著提升了洪水水域测绘的语义保真度和物理一致性。

📝 摘要（中文）

精确的洪水水域测绘对于灾害管理至关重要，但现有方法难以充分利用星载图像的潜力。光学数据具有高可解释性，但受环境条件限制，而SAR提供可靠的全天候覆盖，但视觉可解释性降低。FLoRA（用于光学重建和区域分割的融合潜在空间）是一个跨模态多任务框架，通过融合光学和SAR数据的互补优势，联合重建高保真光学图像并分割来自Sentinel 1 SAR的洪水水域区域。在训练期间，一个轻量级光学教师（由RGB和NDVI先验驱动）提供金字塔特征，通过多尺度窗口交叉注意力和FiLM条件作用将SAR表示引导到融合潜在空间中，并通过门控残差防止过度校正。这种设计支持跨两个互补目标的多任务学习：（a）用于精细RGB重建的SAR到光学转换，以及（b）用于水文解释的洪水水域区域分割。双解码器使用Charbonnier SSIM进行结构保真度优化，使用边缘FFT幅度损失进行光谱真实感优化，并使用Dice BCE水文感知边缘对齐进行精确的洪水水域划定。特征蒸馏约束进一步将融合的SAR特征与光学教师的流形对齐。在SEN1FLOODS11、DEEPFLOOD和SEN12MS上的评估表明，FLoRA在PSNR、SSIM和LPIPS方面超越了融合基线，证明了在教师引导的潜在空间内的多模态融合可以从星载观测中产生语义忠实和物理一致的洪水水域情报。

🔬 方法详解

问题定义：论文旨在解决利用星载光学和SAR数据进行精确洪水水域测绘的问题。现有方法要么依赖于高可解释性但易受天气影响的光学数据，要么依赖于全天候但可解释性较差的SAR数据，难以充分融合两者的优势。因此，如何有效地融合这两种模态的信息，实现高精度、鲁棒性的洪水水域测绘是本研究的核心问题。

核心思路：论文的核心思路是利用一个轻量级的光学教师网络，通过特征蒸馏的方式，引导SAR数据学习光学数据的特征表示，从而实现SAR到光学图像的转换和洪水区域的分割。这种方法充分利用了光学数据的可解释性和SAR数据的全天候性，通过融合潜在空间的方式，实现了多模态信息的有效融合。

技术框架：FLoRA框架包含一个SAR编码器、一个光学教师网络、一个融合潜在空间以及两个解码器（分别用于光学重建和洪水分割）。SAR编码器负责提取SAR图像的特征；光学教师网络利用RGB和NDVI先验知识，提供指导SAR特征学习的金字塔特征；融合潜在空间通过多尺度窗口交叉注意力和FiLM条件作用，融合SAR和光学特征；两个解码器分别负责重建光学图像和分割洪水区域。

关键创新：FLoRA的关键创新在于提出了一个教师引导的融合潜在空间，通过特征蒸馏的方式，将SAR特征与光学特征对齐。这种方法不仅实现了多模态信息的有效融合，还提高了SAR数据的可解释性。此外，论文还采用了多任务学习的方式，同时优化光学重建和洪水分割两个任务，进一步提高了模型的性能。

关键设计：论文采用了Charbonnier SSIM损失函数来保证重建图像的结构保真度，使用边缘FFT幅度损失来保证重建图像的光谱真实感，并使用Dice BCE损失函数来保证洪水分割的精度。此外，论文还使用了多尺度窗口交叉注意力和FiLM条件作用来融合SAR和光学特征，并使用门控残差来防止过度校正。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FLoRA在SEN1FLOODS11、DEEPFLOOD和SEN12MS数据集上进行了评估，实验结果表明，FLoRA在PSNR、SSIM和LPIPS等指标上均超越了现有融合基线。例如，在SEN1FLOODS11数据集上，FLoRA的PSNR值相比最佳基线提高了约1dB，SSIM值提高了约0.02，LPIPS值降低了约0.05。这些结果表明，FLoRA能够更准确地重建光学图像，并更精确地分割洪水区域。

🎯 应用场景

FLoRA的研究成果可应用于灾害管理、水资源监测、城市规划等领域。通过精确的洪水水域测绘，可以为灾害救援提供决策支持，减少人员伤亡和财产损失。此外，该方法还可以用于监测水资源变化、评估洪水风险，为城市规划和基础设施建设提供科学依据。未来，该方法有望扩展到其他自然灾害的监测和评估中。

📄 摘要（原文）

Accurate flood water mapping is critical for disaster management, yet current methods struggle to fully exploit the potential of spaceborne imagery. Optical data offers high interpretability but is limited by environmental conditions, whereas SAR provides reliable all-weather coverage with reduced visual interpretability. FLoRA (Fusion Latent for Optical Reconstruction and Area Segmentation) is a cross-modal multi-task framework that jointly reconstructs high-fidelity optical imagery and segments flood water regions from Sentinel 1 SAR by fusing the complementary strengths of optical and SAR data. During training, a lightweight optical teacher (driven by RGB and NDVI priors) provides pyramidal features that guide SAR representations into a fusion latent space via multiscale windowed cross attention and FiLM conditioning, with gated residuals preventing overcorrection. This design enables multi-task learning across two complementary objectives: (a) SAR-to-optical translation for fine-grained RGB reconstruction and (b) flood water region segmentation for hydrologic interpretation. The dual decoders are optimized using Charbonnier SSIM for structural fidelity, edge FFT magnitude losses for spectral realism, and Dice BCE hydrology-aware edge alignment for precise flood water delineation. A feature distillation constraint further aligns fused SAR features with the optical teacher's manifold. Evaluations on SEN1FLOODS11, DEEPFLOOD, and SEN12MS demonstrate that FLoRA surpasses fusion baselines in PSNR, SSIM, and LPIPS, demonstrating that multi-modal fusion within a teacher-guided latent space yields semantically faithful and physically consistent flood-water intelligence from spaceborne observations.