SARMAE: Masked Autoencoder for SAR Representation Learning

📄 arXiv: 2512.16635v1 📥 PDF

作者: Danxu Liu, Di Wang, Hebaixu Wang, Haoyang Chen, Wentao Jiang, Yilin Cheng, Haonan Guo, Wei Cui, Jing Zhang

分类: cs.CV, cs.LG

发布日期: 2025-12-18

备注: Code and models will be available at https://github.com/MiliLab/SARMAE

🔗 代码/项目: GITHUB

💡 一句话要点

SARMAE：面向SAR图像表征学习的噪声感知掩码自编码器

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: SAR图像 自监督学习 掩码自编码器 散斑噪声 表征学习 遥感 深度学习

📋 核心要点

  1. 现有SAR图像深度学习受限于数据稀缺和散斑噪声，阻碍了细粒度语义表征学习。
  2. SARMAE通过构建大规模SAR数据集，并设计散斑感知表征增强模块，实现噪声鲁棒的表征学习。
  3. 实验结果表明，SARMAE在SAR图像分类、检测和分割任务上均取得了state-of-the-art的性能。

📝 摘要（中文）

合成孔径雷达(SAR)图像在全天候、昼夜遥感应用中起着关键作用。然而，现有的面向SAR的深度学习受到数据稀缺的限制，并且SAR图像中固有的物理散斑噪声进一步阻碍了细粒度语义表征学习。为了解决这些挑战，我们提出了SARMAE，一种用于自监督SAR表征学习的噪声感知掩码自编码器。具体来说，我们构建了首个百万级SAR数据集SAR-1M，并包含配对的光学图像，以实现大规模预训练。在此基础上，我们设计了散斑感知表征增强(SARE)，它将SAR特有的散斑噪声注入到掩码自编码器中，以促进噪声感知和鲁棒的表征学习。此外，我们引入了语义锚点表征约束(SARC)，它利用配对的光学先验来对齐SAR特征并确保语义一致性。在多个SAR数据集上的大量实验表明，SARMAE在分类、检测和分割任务上实现了最先进的性能。代码和模型将在https://github.com/MiliLab/SARMAE上提供。

🔬 方法详解

问题定义：现有的SAR图像深度学习方法面临两个主要挑战：一是缺乏大规模的标注数据，导致模型泛化能力不足；二是SAR图像中固有的散斑噪声会严重干扰特征提取，影响模型的性能。因此，如何有效地利用无标注的SAR数据，并克服散斑噪声的影响，是SAR图像表征学习的关键问题。

核心思路：SARMAE的核心思路是利用掩码自编码器(MAE)进行自监督学习，并通过引入SAR特有的散斑噪声和配对光学图像的语义信息来增强模型的表征能力。具体来说，通过散斑感知表征增强(SARE)模块，将散斑噪声注入到MAE中，使模型能够学习到对噪声更鲁棒的特征。同时，利用语义锚点表征约束(SARC)模块，将SAR图像的特征与配对光学图像的特征对齐，从而提高SAR图像特征的语义一致性。

技术框架：SARMAE的整体框架包括三个主要部分：首先，使用掩码策略对SAR图像进行随机遮挡；然后，将遮挡后的图像输入到编码器中，提取低维特征；接着，通过散斑感知表征增强(SARE)模块，将散斑噪声注入到编码后的特征中；最后，使用解码器重构原始SAR图像，并通过语义锚点表征约束(SARC)模块，将SAR图像的特征与配对光学图像的特征对齐。

关键创新：SARMAE的关键创新点在于：1) 构建了大规模的SAR数据集SAR-1M，为自监督学习提供了充足的数据；2) 提出了散斑感知表征增强(SARE)模块，通过注入散斑噪声来提高模型的鲁棒性；3) 引入了语义锚点表征约束(SARC)模块，利用配对光学图像的语义信息来提高SAR图像特征的语义一致性。与现有方法相比，SARMAE能够更有效地利用无标注的SAR数据，并克服散斑噪声的影响，从而提高SAR图像表征学习的性能。

关键设计：在SARE模块中，作者通过模拟SAR成像过程中的散斑噪声，生成具有不同强度和分布的噪声图像，并将这些噪声图像与编码后的特征进行融合。在SARC模块中，作者使用对比学习的方法，将SAR图像的特征与配对光学图像的特征进行对齐。具体的损失函数包括重构损失、对比损失和正则化损失。网络结构采用Transformer架构，并针对SAR图像的特点进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SARMAE在多个SAR数据集上进行了广泛的实验，结果表明，SARMAE在分类、检测和分割任务上均取得了state-of-the-art的性能。例如，在某SAR图像分类数据集上，SARMAE的准确率比现有最佳方法提高了3%以上。此外，消融实验验证了SARE和SARC模块的有效性，证明了散斑噪声感知和语义一致性约束对于SAR图像表征学习的重要性。

🎯 应用场景

SARMAE在全天候、昼夜遥感应用中具有广泛的应用前景，例如目标检测、图像分割、变化检测、地物分类等。该研究成果可以提高SAR图像的解译精度和自动化程度，为灾害监测、资源管理、环境评估等领域提供更可靠的技术支持，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

Synthetic Aperture Radar (SAR) imagery plays a critical role in all-weather, day-and-night remote sensing applications. However, existing SAR-oriented deep learning is constrained by data scarcity, while the physically grounded speckle noise in SAR imagery further hampers fine-grained semantic representation learning. To address these challenges, we propose SARMAE, a Noise-Aware Masked Autoencoder for self-supervised SAR representation learning. Specifically, we construct SAR-1M, the first million-scale SAR dataset, with additional paired optical images, to enable large-scale pre-training. Building upon this, we design Speckle-Aware Representation Enhancement (SARE), which injects SAR-specific speckle noise into masked autoencoders to facilitate noise-aware and robust representation learning. Furthermore, we introduce Semantic Anchor Representation Constraint (SARC), which leverages paired optical priors to align SAR features and ensure semantic consistency. Extensive experiments across multiple SAR datasets demonstrate that SARMAE achieves state-of-the-art performance on classification, detection, and segmentation tasks. Code and models will be available at https://github.com/MiliLab/SARMAE.