OpenEarth-OVS44: A Multimodal Remote Sensing Dataset for Open-Vocabulary Segmentation

📄 arXiv: 2610.29642v1 📥 PDF

作者: Yimin Wei, Hongruixuan Chen, Hao Zheng, Hao Liu, Jian Song, Yuting Zhu, Junshi Xia, Naoto Yokoya

分类: cs.CV

发布日期: 2026-10-21

💡 一句话要点

提出OpenEarth-OVS44以解决遥感开放词汇分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇分割 遥感数据集 多模态融合 细粒度分割 城市功能区划 环境监测 碳核算

📋 核心要点

  1. 现有遥感数据集在类别覆盖和分类体系上存在局限，难以支持细粒度的语义理解。
  2. 本文提出OpenEarth-OVS44数据集，包含多模态数据和统一的44类分类体系，以提升开放词汇分割性能。
  3. 实验结果显示，基于该数据集训练的模型在细粒度分割性能上显著提升，尤其在未见类别上表现优异。

📝 摘要（中文）

在遥感领域，开放词汇分割对灵活和可扩展的土地覆盖理解至关重要，因为它提高了对新类别的泛化能力，而无需大量的像素级标注。尽管这一领域前景广阔，但现有数据集的类别覆盖有限且分类体系过于粗糙，限制了其在城市功能区划、碳核算和灾后评估等实际应用中的细粒度语义理解。为了解决这些挑战，本文提出了OpenEarth-OVS44，这是一个多模态基准数据集，包含来自2832张RGB图像和1341对严格配准的RGB-SAR图像的290,587个专家验证的分割，覆盖法国、日本和美国的40个城市，采用统一的44类分类体系。提供了三个评估轨道，实验结果表明，基于OpenEarth-OVS44训练的模型在未见类别上提升了7.1 mIoU点，在已见类别上提升了27.6 mIoU点。

🔬 方法详解

问题定义：本文旨在解决遥感领域开放词汇分割的挑战，现有方法由于数据集的类别覆盖和分类体系的局限性，难以实现细粒度的语义理解。

核心思路：提出OpenEarth-OVS44数据集，包含丰富的多模态遥感数据，采用统一的44类分类体系，以支持更灵活的分割任务。通过专家验证的分割和严格配准的RGB-SAR对，提升模型对新类别的泛化能力。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集构建阶段涉及多模态数据的采集和标注，模型训练阶段使用不同的评估轨道进行性能测试，评估阶段则通过多种条件下的测试来验证模型的鲁棒性。

关键创新：最重要的创新在于提供了一个包含290,587个专家验证分割的多模态数据集，且采用了统一的44类分类体系，这在现有数据集中是前所未有的。

关键设计：在数据集构建中，采用了严格的配准技术以确保RGB和SAR图像的准确对应，同时在模型训练中引入了多种损失函数以优化细粒度分割性能。

📊 实验亮点

实验结果表明，基于OpenEarth-OVS44训练的模型在未见类别上提升了7.1 mIoU点，在已见类别上提升了27.6 mIoU点，显著超越了最强的无训练基线，展示了该数据集在开放词汇分割任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括城市功能区划、环境监测、碳核算和灾后评估等。通过提供丰富的多模态数据，OpenEarth-OVS44能够支持更精确的土地覆盖分类和变化检测，具有重要的实际价值和未来影响。

📄 摘要（原文）

In remote sensing, open-vocabulary segmentation is particularly important for flexible and scalable land-cover understanding across diverse regions, as it improves generalization to novel categories without requiring exhaustive pixel-level annotations. Despite its great promise, progress in this area remains largely constrained by existing datasets with limited category coverage and overly coarse taxonomies, and therefore struggles to support fine-grained semantic understanding required in real-world applications such as urban functional zoning, carbon accounting, and post-disaster assessment. To address these challenges, we present OpenEarth-OVS44, a multimodal benchmark with 290,587 expert-verified segments from 2,832 RGB images and 1,341 strictly registered RGB-SAR pairs at sub-meter spatial resolution, covering 40 cities across France, Japan, and the United States under a unified 44-class taxonomy organized into 9 base categories. Three evaluation tracks are provided: an RGB-only fine-grained benchmark, a multimodal track with diverse synthetic cloudy conditions for weather-robust evaluation, and a held-out cross-region track. Extensive experiments on representative open-vocabulary segmentation models demonstrate that training on OpenEarth-OVS44 substantially improves fine-grained segmentation performance over the strongest training-free baseline, with improvements of up to 7.1 mIoU points on unseen categories and 27.6 mIoU points on seen categories. The dataset and code will be released.