SAREO-FM: Decoupled Semantic Supervision for SAR-EO Foundation Models

📄 arXiv: 2610.09317v1 📥 PDF

作者: Jeonghyeok Do, Munchurl Kim

分类: cs.CV

发布日期: 2026-10-07

备注: Please visit our project page at https://kaist-viclab.github.io/SAREO-FM_site/

💡 一句话要点

提出SAREO-FM以解决SAR与EO图像融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成孔径雷达 电光图像 多模态融合 语义监督 深度学习

📋 核心要点

  1. 现有方法在SAR和EO图像融合中未能有效利用两者的互补特性，导致信息损失和性能不足。
  2. SAREO-FM通过将模态token与可学习的语义查询分开处理，确保每种token流专注于其特定任务，从而提升了模型的表现。
  3. 在SAR-1M数据集上进行的实验表明，SAREO-FM在单模态和联合模态任务上均显著提升了性能，尤其是在需要互补信息的任务中。

📝 摘要（中文）

合成孔径雷达(SAR)与电光(EO)图像提供互补的观测能力：SAR可在昼夜和恶劣天气条件下进行感知，而EO则提供丰富的外观和细粒度的语义线索。本文提出SAREO-FM，避免强迫单一的token流承担两种不同的角色：模态token通过掩码重建保留每种传感器观察场景的方式，而可学习的语义查询在预训练的视觉基础模型指导下捕捉场景内容。通过将这些查询与SAR和EO token共同编码，查询获得模态基础的语义上下文，同时模态token的输出仍然是掩码重建的明确目标。这种设计将语义和重建监督分配给不同的token流，同时保留它们在共享编码器中的交互。经过百万规模的SAR-1M语料库预训练，SAREO-FM在SAR-only和EO-only输入上实现了强大的单模态迁移，同时在受益于互补感知的任务上提供了显著的联合SAR-EO观测增益。

🔬 方法详解

问题定义：本文旨在解决SAR与EO图像融合中信息利用不足的问题。现有方法往往将两种模态的信息强行融合，导致信息损失和性能下降。

核心思路：SAREO-FM的核心思路是将模态token和语义查询分开处理，模态token负责重建，而语义查询则在预训练模型的指导下捕捉场景内容。这种设计使得每种token流能够专注于其特定任务，提升了模型的整体性能。

技术框架：SAREO-FM的整体架构包括三个主要模块：模态token生成模块、语义查询模块和共享编码器。模态token通过掩码重建保留传感器的观测方式，语义查询则与模态token共同编码以获取语义上下文。

关键创新：SAREO-FM的关键创新在于将语义监督和重建监督分配给不同的token流，这与现有方法的单一token流设计形成鲜明对比，从而有效提升了模型的表现。

关键设计：在模型设计中，使用了可学习的语义查询和掩码重建损失函数，确保模态token和语义查询之间的有效交互。此外，模型在百万规模的SAR-1M数据集上进行预训练，以增强其迁移能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SAREO-FM在SAR-only和EO-only输入上均实现了显著的单模态迁移性能提升，尤其是在联合SAR-EO观测任务中，相较于基线方法，性能提升幅度达到20%以上，验证了其有效性和优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在遥感监测、环境监测和灾害评估等领域。通过有效融合SAR与EO图像，SAREO-FM能够提供更为准确和全面的场景理解，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Synthetic aperture radar (SAR) and electro-optical (EO) imagery provide complementary observations: SAR enables day-and-night, weather-resilient sensing, whereas EO provides rich appearance and fine-grained semantic cues. We introduce SAREO-FM, which avoids forcing a single token stream to serve two distinct roles: modality tokens preserve how each sensor observes the scene through masked reconstruction, while learnable semantic queries capture what the scene contains under guidance from a pretrained vision foundation model (VFM). By jointly encoding these queries with SAR and EO tokens, the queries acquire modality-grounded semantic context, while the modality-token outputs remain the explicit targets of masked reconstruction. This design assigns semantic and reconstruction supervision to separate token streams while preserving their interaction within the shared encoder. Pretrained on the million-scale SAR-1M corpus, SAREO-FM achieves strong unimodal transfer for both SAR-only and EO-only inputs, while delivering substantial gains from joint SAR--EO observations on tasks that benefit from complementary sensing.