RAMEN: Resolution-Adjustable Multimodal Encoder for Earth Observation

📄 arXiv: 2512.05025v1 📥 PDF

作者: Nicolas Houdré, Diego Marcos, Hugo Riffaud de Turckheim, Dino Ienco, Laurent Wendling, Camille Kurtz, Sylvain Lobry

分类: cs.CV

发布日期: 2025-12-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出RAMEN：一种分辨率可调的多模态编码器，用于地球观测数据分析。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地球观测 多模态融合 Transformer 分辨率可调 自监督学习 遥感图像 表征学习

📋 核心要点

  1. 现有地球观测模型难以处理不同传感器和分辨率的数据，限制了多模态信息的有效融合。
  2. RAMEN通过将分辨率作为可控参数，学习传感器无关的共享视觉表示，实现跨模态数据的统一分析。
  3. 实验表明，RAMEN在PANGAEA基准测试中优于现有模型，并能有效迁移到新的传感器配置。

📝 摘要（中文）

地球观测(EO)数据涵盖了广泛的空间、光谱和时间分辨率，从高分辨率光学图像到低分辨率多光谱产品或雷达时间序列。虽然最近的基础模型改进了多模态融合，以学习有意义的表示，但它们通常期望固定的输入分辨率，或者基于特定于传感器的编码器，限制了异构EO模态之间的泛化。为了克服这些限制，我们引入了RAMEN，一种分辨率可调的多模态编码器，它以完全传感器无关的方式学习跨EO数据的共享视觉表示。RAMEN将模态以及空间和时间分辨率视为关键的输入数据特征，从而能够在统一的潜在空间内对跨模态进行连贯的分析。其主要的方法论贡献是将空间分辨率定义为可控的输出参数，使用户能够直接控制推理时所需的细节级别，并允许在空间精度和计算成本之间进行显式权衡。我们训练了一个统一的Transformer编码器，重建来自不同来源的掩码多模态EO数据，确保跨传感器和分辨率的泛化。经过预训练后，RAMEN可以有效地迁移到已知和未知的传感器配置，并在包含各种多传感器和多分辨率下游任务的社区标准PANGAEA基准测试中，优于更大的最先进模型。我们的代码和预训练模型可在https://github.com/nicolashoudre/RAMEN获得。

🔬 方法详解

问题定义：现有地球观测模型通常针对特定传感器和固定分辨率设计，无法有效融合来自不同来源、具有不同分辨率的地球观测数据。这限制了模型在实际应用中的泛化能力，并且难以在空间精度和计算成本之间进行权衡。

核心思路：RAMEN的核心思路是将模态信息和空间、时间分辨率作为输入特征，通过一个统一的Transformer编码器学习跨模态数据的共享视觉表示。通过将空间分辨率定义为可控的输出参数，RAMEN允许用户在推理时灵活调整所需的细节级别，从而实现空间精度和计算成本之间的平衡。

技术框架：RAMEN的整体架构包括一个多模态输入编码模块和一个Transformer编码器。多模态输入编码模块负责将不同模态和分辨率的地球观测数据转换为统一的向量表示。Transformer编码器则学习这些向量表示之间的关系，并重建被掩码的输入数据。在推理阶段，用户可以指定所需的空间分辨率，RAMEN将生成相应分辨率的视觉表示。

关键创新：RAMEN最重要的技术创新点在于其分辨率可调的设计。通过将空间分辨率作为可控的输出参数，RAMEN允许用户在推理时灵活调整所需的细节级别，从而实现空间精度和计算成本之间的平衡。此外，RAMEN采用传感器无关的设计，可以有效处理来自不同传感器的地球观测数据。

关键设计：RAMEN的关键设计包括：1) 使用Transformer编码器学习跨模态数据的共享视觉表示；2) 将空间分辨率定义为可控的输出参数；3) 采用掩码数据重建作为预训练目标；4) 使用PANGAEA基准测试评估模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RAMEN在PANGAEA基准测试中取得了显著的性能提升，优于现有最先进的模型。实验结果表明，RAMEN能够有效迁移到新的传感器配置，并且在多传感器和多分辨率的下游任务中表现出色。具体性能数据请参考论文原文。

🎯 应用场景

RAMEN在农业监测、城市规划、灾害评估等领域具有广泛的应用前景。它可以用于融合来自不同传感器和分辨率的地球观测数据，提高土地利用分类、作物识别、建筑物提取等任务的精度。此外，RAMEN的分辨率可调特性使其能够根据不同的应用需求，灵活调整空间精度和计算成本。

📄 摘要（原文）

Earth observation (EO) data spans a wide range of spatial, spectral, and temporal resolutions, from high-resolution optical imagery to low resolution multispectral products or radar time series. While recent foundation models have improved multimodal integration for learning meaningful representations, they often expect fixed input resolutions or are based on sensor-specific encoders limiting generalization across heterogeneous EO modalities. To overcome these limitations we introduce RAMEN, a resolution-adjustable multimodal encoder that learns a shared visual representation across EO data in a fully sensor-agnostic manner. RAMEN treats the modality and spatial and temporal resolutions as key input data features, enabling coherent analysis across modalities within a unified latent space. Its main methodological contribution is to define spatial resolution as a controllable output parameter, giving users direct control over the desired level of detail at inference and allowing explicit trade-offs between spatial precision and computational cost. We train a single, unified transformer encoder reconstructing masked multimodal EO data drawn from diverse sources, ensuring generalization across sensors and resolutions. Once pretrained, RAMEN transfers effectively to both known and unseen sensor configurations and outperforms larger state-of-the-art models on the community-standard PANGAEA benchmark, containing various multi-sensor and multi-resolution downstream tasks. Our code and pretrained model are available at https://github.com/nicolashoudre/RAMEN.