OceanMAE: A Foundation Model for Ocean Remote Sensing

📄 arXiv: 2604.08171v1 📥 PDF

作者: Viola-Joanna Stamer, Panagiotis Agrafiotis, Behnood Rasti, Begüm Demir

分类: cs.CV, cs.AI

发布日期: 2026-04-09

💡 一句话要点

提出OceanMAE，融合物理信息的海洋遥感基础模型，提升海洋任务性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 海洋遥感 自监督学习 掩码自编码器 物理信息融合 海洋分割

📋 核心要点

  1. 现有海洋遥感模型受限于标注数据稀缺，且陆地预训练模型在海洋场景迁移性差。
  2. OceanMAE通过融合多光谱数据和物理海洋描述符进行自监督预训练，学习海洋感知表示。
  3. 实验表明，OceanMAE在海洋分割任务上表现优异，水深估计任务上具有竞争力。

📝 摘要（中文）

精确的海洋测绘对于水深估计、海底特征描述、海洋垃圾检测和生态系统监测等应用至关重要。然而，海洋遥感（RS）仍然受到有限的标注数据以及主要在陆地为主的地球观测图像上预训练的模型迁移能力降低的限制。本文提出了OceanMAE，一种海洋特定的掩码自编码器，它通过在自监督学习期间整合多光谱Sentinel-2观测数据与具有物理意义的海洋描述符，扩展了标准的MAE预训练。通过结合这些辅助海洋特征，OceanMAE旨在从大规模未标注数据中学习更具信息量和海洋感知的潜在表示。为了将这些表示迁移到下游应用，我们进一步采用了一种改进的基于UNet的框架，用于海洋分割和水深估计。OceanMAE在Hydro数据集上进行预训练，并在MADOS和MARIDA上评估其在海洋污染物和碎片分割方面的性能，以及在MagicBathyNet上评估其在水深回归方面的性能。实验表明，OceanMAE在海洋分割方面产生了最强的增益，而水深估计的收益具有竞争力且依赖于任务。此外，针对MARIDA的标准MAE的消融实验表明，在预训练期间结合辅助海洋描述符可以提高下游分割质量。这些发现突出了物理信息驱动和领域对齐的自监督预训练对于海洋遥感的价值。代码和权重可在https://git.tu-berlin.de/joanna.stamer/SSLORS2公开获取。

🔬 方法详解

问题定义：论文旨在解决海洋遥感领域中，由于标注数据不足和现有模型泛化能力差导致的应用受限问题。现有方法主要依赖于陆地图像预训练模型，无法有效提取海洋环境的特征，导致在海洋相关任务中表现不佳。

核心思路：论文的核心思路是利用自监督学习方法，构建一个专门针对海洋遥感数据的预训练模型OceanMAE。通过结合多光谱遥感数据和物理海洋描述符，使模型能够学习到更具信息量和海洋环境特性的潜在表示，从而提高模型在下游任务中的性能。

技术框架：OceanMAE的整体框架基于掩码自编码器（MAE）。首先，对输入的多光谱Sentinel-2图像进行随机掩码。然后，将未掩码的图像块输入到编码器中，得到潜在表示。同时，将物理海洋描述符与潜在表示进行融合。最后，解码器利用融合后的潜在表示重建原始图像。在下游任务中，使用预训练的OceanMAE作为特征提取器，结合改进的UNet框架进行海洋分割和水深估计。

关键创新：OceanMAE的关键创新在于将物理海洋描述符融入到MAE的预训练过程中。这种方法使得模型能够学习到与海洋环境相关的先验知识，从而提高了模型在海洋遥感任务中的性能。与传统的MAE相比，OceanMAE更具领域针对性，能够更好地捕捉海洋数据的特征。

关键设计：OceanMAE的关键设计包括：1) 使用Sentinel-2多光谱数据作为输入，充分利用其丰富的光谱信息；2) 融合物理海洋描述符，例如海表温度、盐度等，以增强模型的海洋感知能力；3) 使用掩码比例为75%的MAE进行预训练，以提高模型的重建能力；4) 在下游任务中使用改进的UNet框架，以适应海洋分割和水深估计任务的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OceanMAE在海洋分割任务（MADOS和MARIDA数据集）上取得了显著的性能提升。消融实验证明，融合物理海洋描述符能够有效提高下游分割质量。虽然在水深估计任务上的提升较为task-dependent，但整体表现具有竞争力，证明了OceanMAE作为海洋遥感基础模型的有效性。

🎯 应用场景

OceanMAE在海洋遥感领域具有广泛的应用前景，包括海洋垃圾检测、海洋污染监测、水深估计、海底地形测绘、海洋生态系统监测等。该研究成果有助于提高海洋环境的认知水平，为海洋资源管理和环境保护提供技术支持，并为未来的海洋遥感应用奠定基础。

📄 摘要（原文）

Accurate ocean mapping is essential for applications such as bathymetry estimation, seabed characterization, marine litter detection, and ecosystem monitoring. However, ocean remote sensing (RS) remains constrained by limited labeled data and by the reduced transferability of models pre-trained mainly on land-dominated Earth observation imagery. In this paper, we propose OceanMAE, an ocean-specific masked autoencoder that extends standard MAE pre-training by integrating multispectral Sentinel-2 observations with physically meaningful ocean descriptors during self-supervised learning. By incorporating these auxiliary ocean features, OceanMAE is designed to learn more informative and ocean-aware latent representations from large- scale unlabeled data. To transfer these representations to downstream applications, we further employ a modified UNet-based framework for marine segmentation and bathymetry estimation. Pre-trained on the Hydro dataset, OceanMAE is evaluated on MADOS and MARIDA for marine pollutant and debris segmentation, and on MagicBathyNet for bathymetry regression. The experiments show that OceanMAE yields the strongest gains on marine segmentation, while bathymetry benefits are competitive and task-dependent. In addition, an ablation against a standard MAE on MARIDA indicates that incorporating auxiliary ocean descriptors during pre-training improves downstream segmentation quality. These findings highlight the value of physically informed and domain-aligned self-supervised pre- training for ocean RS. Code and weights are publicly available at https://git.tu-berlin.de/joanna.stamer/SSLORS2.