SatSwinMAE: Efficient Autoencoding for Multiscale Time-series Satellite Imagery

📄 arXiv: 2405.02512v2 📥 PDF

作者: Yohei Nakayama, Jiawei Su, Luis M. Pazos-Outón

分类: cs.CV, cs.AI

发布日期: 2024-05-03 (更新: 2024-10-18)

💡 一句话要点

SatSwinMAE：用于多尺度时间序列卫星图像的高效自编码模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 卫星图像 时间序列分析 掩码自编码器 Swin Transformer 地球观测

📋 核心要点

  1. 现有地球观测模型难以有效处理大规模无标签地理空间数据，限制了其在实际应用中的潜力。
  2. SatSwinMAE通过引入3D掩码自编码器和视频Swin Transformer块，有效捕捉卫星图像的时空依赖关系。
  3. 实验表明，SatSwinMAE在多个下游任务中显著优于现有模型，尤其在土地覆盖分割任务中提升显著。

📝 摘要（中文）

本文针对地球观测领域中大规模无标签地理空间数据的有效处理问题，提出了SatSwinMAE模型。该模型扩展了SwinMAE，集成了时间信息，用于处理卫星时间序列数据。其架构采用分层3D掩码自编码器(MAE)，并结合视频Swin Transformer块，有效捕获卫星图像中的多尺度时空依赖关系。为了增强迁移学习能力，模型同时使用了编码器和解码器的预训练权重，并引入跳跃连接以保留特定尺度的信息，从而构建了一个类似于SwinUNet并具有额外时间组件的架构。实验结果表明，该方法在土地覆盖分割、建筑密度预测、洪水制图、野火疤痕制图和多时相作物分割等下游任务中，均优于现有的先进地理空间基础模型。特别是在PhilEO Bench数据集的土地覆盖分割任务中，其准确率比其他地理空间基础模型高出10.4%。

🔬 方法详解

问题定义：论文旨在解决卫星时间序列图像处理中，如何有效提取时空特征，并利用大规模无标签数据进行预训练，从而提升下游任务性能的问题。现有方法通常难以同时捕捉多尺度时空依赖关系，且预训练模型泛化能力有限。

核心思路：论文的核心思路是将SwinMAE扩展到3D空间，并结合视频Swin Transformer块，以同时处理空间和时间维度上的信息。通过掩码自编码器进行预训练，学习图像的潜在表示，并利用跳跃连接保留不同尺度的信息，从而提升模型的泛化能力和下游任务性能。

技术框架：SatSwinMAE的整体架构是一个编码器-解码器结构，类似于SwinUNet，但增加了时间维度。编码器部分采用分层3D掩码自编码器，使用视频Swin Transformer块提取时空特征。解码器部分重建原始图像。跳跃连接将编码器不同尺度的特征传递到解码器，以保留细节信息。

关键创新：SatSwinMAE的关键创新在于将SwinMAE扩展到3D空间，并结合视频Swin Transformer块，从而能够同时处理空间和时间维度上的信息。此外，模型同时使用了编码器和解码器的预训练权重，并引入跳跃连接，进一步提升了模型的性能。

关键设计：模型采用3D掩码策略，随机掩盖部分输入图像块，然后利用编码器学习未掩盖部分的表示，并利用解码器重建被掩盖的部分。损失函数采用均方误差（MSE）来衡量重建图像与原始图像之间的差异。视频Swin Transformer块采用窗口注意力机制，并在连续的Swin Transformer层之间进行窗口移动，以实现跨窗口的信息交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SatSwinMAE在多个下游任务中取得了显著的性能提升。在PhilEO Bench数据集的土地覆盖分割任务中，SatSwinMAE的准确率比其他地理空间基础模型高出10.4%。此外，在建筑密度预测、洪水制图、野火疤痕制图和多时相作物分割等任务中，SatSwinMAE也优于现有的先进模型，证明了其有效性和泛化能力。

🎯 应用场景

SatSwinMAE在地球观测领域具有广泛的应用前景，例如土地覆盖分类、农作物监测、灾害评估（如洪水和野火）以及城市规划等。该模型能够有效处理大规模卫星时间序列数据，为相关领域的研究和应用提供有力支持，并有望推动地球观测技术的进一步发展。

📄 摘要（原文）

Recent advancements in foundation models have significantly impacted various fields, including natural language processing, computer vision, and multi-modal tasks. One area that stands to benefit greatly is Earth observation, where these models can efficiently process large-scale, unlabeled geospatial data. In this work we extend the SwinMAE model to integrate temporal information for satellite time-series data. The architecture employs a hierarchical 3D Masked Autoencoder (MAE) with Video Swin Transformer blocks to effectively capture multi-scale spatio-temporal dependencies in satellite imagery. To enhance transfer learning, we incorporate both encoder and decoder pretrained weights, along with skip connections to preserve scale-specific information. This forms an architecture similar to SwinUNet with an additional temporal component. Our approach shows significant performance improvements over existing state-of-the-art foundation models for all the evaluated downstream tasks: land cover segmentation, building density prediction, flood mapping, wildfire scar mapping and multi-temporal crop segmentation. Particularly, in the land cover segmentation task of the PhilEO Bench dataset, it outperforms other geospatial foundation models with a 10.4% higher accuracy.