Seg2Change: Adapting Open-Vocabulary Semantic Segmentation Model for Remote Sensing Change Detection

📄 arXiv: 2604.11231v1 📥 PDF

作者: You Su, Yonghong Song, Jingqi Chen, Zehan Wen

分类: cs.CV

发布日期: 2026-04-13

备注: 21 pages, 15 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Seg2Change，将开放词汇语义分割模型适配于遥感影像变化检测任务

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 遥感影像 变化检测 开放词汇 语义分割 类别无关 Transformer 适配器

📋 核心要点

  1. 现有变化检测方法依赖预定义类别，难以应对真实场景中类别多样的变化检测需求。
  2. Seg2Change通过设计类别无关的变化头，并构建类别无关的变化检测数据集，实现开放词汇变化检测。
  3. 实验表明，Seg2Change在两个数据集上均取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

变化检测是遥感领域的一项基础任务，旨在量化人类活动和生态动态对地表覆盖变化的影响。现有的变化检测方法受限于训练数据集中预定义的类别，限制了其在实际场景中的可扩展性。近年来，涌现出许多先进的遥感影像开放词汇语义分割模型。然而，仍然缺乏有效的框架将这些模型直接应用于开放词汇变化检测（OVCD），这是一个结合视觉和语言的新任务，旨在检测任意类别的变化。为了应对这些挑战，我们首先构建了一个类别无关的变化检测数据集，称为CA-CDD。此外，我们设计了一个类别无关的变化头，以检测任意类别的转换并将其索引到特定类别。基于此，我们提出了Seg2Change，一个旨在将开放词汇语义分割模型适配到变化检测任务的适配器。在没有任何花哨技巧的情况下，这个简单而有效的框架实现了最先进的OVCD性能（在WHU-CD上+9.52 IoU，在SECOND上+5.50 mIoU）。我们的代码已在https://github.com/yogurts-sy/Seg2Change上发布。

🔬 方法详解

问题定义：现有遥感变化检测方法主要依赖于预定义的类别，这意味着模型只能检测训练集中已知的变化类型。然而，现实世界中的变化是复杂多样的，包含大量未知的类别和变化模式。这种局限性严重制约了现有方法在实际应用中的泛化能力。因此，如何实现开放词汇的变化检测，即检测任意类别的变化，成为了一个重要的研究问题。

核心思路：Seg2Change的核心思路是将预训练的开放词汇语义分割模型迁移到变化检测任务中。通过利用开放词汇语义分割模型强大的语义理解能力，Seg2Change能够检测任意类别的变化，而无需预先定义类别。为了实现这一目标，论文设计了一个类别无关的变化头，用于检测不同类别之间的转换。

技术框架：Seg2Change的整体框架包括以下几个主要模块：1) 预训练的开放词汇语义分割模型：用于提取遥感影像的语义特征。2) 类别无关的变化头：用于检测不同类别之间的转换，并将其索引到特定的类别。3) 类别无关的变化检测数据集（CA-CDD）：用于训练和评估Seg2Change模型。整个流程首先利用预训练的开放词汇语义分割模型提取两时相遥感影像的特征，然后将这些特征输入到类别无关的变化头中，得到变化检测结果。

关键创新：Seg2Change的关键创新在于提出了一个类别无关的变化头，该变化头能够检测任意类别的变化，而无需预先定义类别。这与传统的变化检测方法形成了鲜明对比，传统方法只能检测训练集中已知的变化类型。此外，论文还构建了一个类别无关的变化检测数据集（CA-CDD），为开放词汇变化检测的研究提供了数据支持。

关键设计：类别无关的变化头的设计是Seg2Change的关键。该变化头采用了一种基于Transformer的结构，能够有效地建模不同类别之间的关系。具体来说，该变化头首先将两时相的特征进行拼接，然后通过Transformer编码器进行编码，得到融合后的特征。最后，通过一个分类器预测每个像素的变化类别。损失函数方面，论文采用了交叉熵损失函数，用于训练变化头。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Seg2Change在WHU-CD和SECOND两个数据集上取得了显著的性能提升。在WHU-CD数据集上，Seg2Change的IoU指标提升了9.52%。在SECOND数据集上，Seg2Change的mIoU指标提升了5.50%。这些结果表明，Seg2Change能够有效地将开放词汇语义分割模型适配到变化检测任务中，并取得最先进的性能。

🎯 应用场景

Seg2Change在遥感影像变化检测领域具有广泛的应用前景，例如城市规划、灾害监测、环境保护等。通过检测地表覆盖的变化，可以帮助政府和相关机构更好地了解城市发展、评估灾害影响、监测环境变化，从而制定更科学合理的政策和措施。未来，Seg2Change还可以应用于自动驾驶、机器人导航等领域。

📄 摘要（原文）

Change detection is a fundamental task in remote sensing, aiming to quantify the impacts of human activities and ecological dynamics on land-cover changes. Existing change detection methods are limited to predefined classes in training datasets, which constrains their scalability in real-world scenarios. In recent years, numerous advanced open-vocabulary semantic segmentation models have emerged for remote sensing imagery. However, there is still a lack of an effective framework for directly applying these models to open-vocabulary change detection (OVCD), a novel task that integrates vision and language to detect changes across arbitrary categories. To address these challenges, we first construct a category-agnostic change detection dataset, termed CA-CDD. Further, we design a category-agnostic change head to detect the transitions of arbitrary categories and index them to specific classes. Based on them, we propose Seg2Change, an adapter designed to adapt open-vocabulary semantic segmentation models to change detection task. Without bells and whistles, this simple yet effective framework achieves state-of-the-art OVCD performance (+9.52 IoU on WHU-CD and +5.50 mIoU on SECOND). Our code is released at https://github.com/yogurts-sy/Seg2Change.