Semantic Change Detection of Roads and Bridges: A Fine-grained Dataset and Multimodal Frequency-driven Detector

📄 arXiv: 2505.13212v3 📥 PDF

作者: Qingling Shu, Sibao Chen, Xiao Wang, Zhihui You, Wei Lu, Jin Tang, Bin Luo

分类: cs.CV

发布日期: 2025-05-19 (更新: 2025-09-19)

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态频率驱动变化检测器，解决道路桥梁语义变化检测难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义变化检测 道路桥梁检测 多模态融合 频率域分析 小波变换

📋 核心要点

  1. 现有方法难以保持道路桥梁等线性结构的连续性，且易混淆视觉相似的地物类别，限制了道路桥梁语义变化检测的精度。
  2. 提出多模态频率驱动变化检测器（MFDCD），在频域融合视觉和小波特征，并引入文本频率滤波器消除语义歧义。
  3. 在RB-SCD等数据集上，MFDCD取得了SOTA性能，验证了其在道路桥梁语义变化检测任务上的有效性。

📝 摘要（中文）

精确检测道路和桥梁的变化对于城市规划和交通管理至关重要，但对于一般变化检测(CD)提出了独特的挑战。主要困难在于保持道路和桥梁作为线性结构的连续性，以及消除视觉上相似的土地覆盖（例如，道路建设与裸露土地）的歧义。现有的空间域模型难以解决这些问题，并且缺乏专门的、语义丰富的的数据集。为了填补这些空白，我们引入了道路和桥梁语义变化检测（RB-SCD）数据集。作为第一个系统地针对道路和桥梁语义变化检测的基准，RB-SCD为11个语义变化类别提供了全面的细粒度注释。这使得能够详细分析交通基础设施的演变。在此基础上，我们提出了一种新的框架，即多模态频率驱动变化检测器（MFDCD）。MFDCD通过两个关键组件将多模态特征集成到频域中：（1）动态频率耦合器（DFC），它利用小波变换来分解视觉特征，使其能够稳健地建模线性过渡的连续性；（2）文本频率滤波器（TFF），它将语义先验编码到频域图中，并应用滤波器组使其与视觉特征对齐，从而消除语义歧义。实验表明，MFDCD在RB-SCD和三个公共CD数据集上表现出最先进的性能。代码将在https://github.com/DaGuangDaGuang/RB-SCD上提供。

🔬 方法详解

问题定义：论文旨在解决道路和桥梁的语义变化检测问题。现有方法主要在空间域进行特征提取和变化分析，难以有效捕捉道路和桥梁等线性结构的连续性，并且容易受到视觉相似地物（如道路建设和裸露土地）的干扰，导致检测精度不高。缺乏专门针对道路桥梁语义变化检测的数据集也限制了相关研究的进展。

核心思路：论文的核心思路是将多模态特征（视觉和文本）融合到频域中进行变化检测。通过将视觉特征转换到频域，可以更好地捕捉线性结构的连续性。同时，利用文本信息作为语义先验，通过频率滤波的方式消除语义歧义，提高检测的准确性。这种频域分析的方法能够有效克服空间域方法的局限性。

技术框架：MFDCD的整体框架包括以下几个主要模块：1) 特征提取模块：分别提取视觉特征和文本特征。2) 动态频率耦合器（DFC）：利用小波变换将视觉特征分解到频域，并进行耦合，以增强线性结构的连续性表达。3) 文本频率滤波器（TFF）：将文本特征编码为频域图，并设计滤波器组，用于对视觉特征进行滤波，以消除语义歧义。4) 变化检测模块：基于融合后的频域特征进行变化检测，输出变化区域的语义类别。

关键创新：论文的关键创新在于提出了动态频率耦合器（DFC）和文本频率滤波器（TFF）。DFC通过小波变换和频率耦合，有效建模了线性结构的连续性。TFF则将文本信息引入频域分析，通过滤波的方式消除了语义歧义，显著提升了检测精度。将多模态信息融合到频域进行变化检测是另一个重要的创新点。

关键设计：DFC中，小波变换的类型和尺度是关键参数，需要根据具体任务进行调整。TFF中，文本特征的编码方式和滤波器组的设计至关重要，需要保证语义信息的准确表达和有效过滤。损失函数的设计也需要考虑不同语义类别的权重，以平衡检测精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MFDCD在RB-SCD数据集上取得了显著的性能提升，相较于现有方法，在多个语义变化类别上均有明显优势。此外，在三个公共变化检测数据集上也表现出竞争力，验证了其泛化能力。具体性能数据需要在论文原文中查找。

🎯 应用场景

该研究成果可应用于智慧城市建设、交通基础设施管理、灾害评估等领域。通过自动检测道路和桥梁的变化，可以及时发现安全隐患，辅助城市规划和交通管理决策，提高城市运行效率和安全性。在灾害发生后，可以快速评估道路桥梁的受损情况，为救援工作提供支持。

📄 摘要（原文）

Accurate detection of road and bridge changes is crucial for urban planning and transportation management, yet presents unique challenges for general change detection (CD). Key difficulties arise from maintaining the continuity of roads and bridges as linear structures and disambiguating visually similar land covers (e.g., road construction vs. bare land). Existing spatial-domain models struggle with these issues, further hindered by the lack of specialized, semantically rich datasets. To fill these gaps, we introduce the Road and Bridge Semantic Change Detection (RB-SCD) dataset. As the first benchmark to systematically target semantic change detection of roads and bridges, RB-SCD offers comprehensive fine-grained annotations for 11 semantic change categories. This enables a detailed analysis of traffic infrastructure evolution. Building on this, we propose a novel framework, the Multimodal Frequency-Driven Change Detector (MFDCD). MFDCD integrates multimodal features in the frequency domain through two key components: (1) the Dynamic Frequency Coupler (DFC), which leverages wavelet transform to decompose visual features, enabling it to robustly model the continuity of linear transitions; and (2) the Textual Frequency Filter (TFF), which encodes semantic priors into frequency-domain graphs and applies filter banks to align them with visual features, resolving semantic ambiguities. Experiments demonstrate the state-of-the-art performance of MFDCD on RB-SCD and three public CD datasets. The code will be available at https://github.com/DaGuangDaGuang/RB-SCD.