Transformer-based Multimodal Change Detection with Multitask Consistency Constraints

📄 arXiv: 2310.09276v3 📥 PDF

作者: Biyuan Liu, Huaixin Chen, Kun Li, Michael Ying Yang

分类: cs.CV

发布日期: 2023-10-13 (更新: 2024-04-17)

DOI: 10.1016/j.inffus.2024.102358

💡 一句话要点

提出基于Transformer的多模态变化检测以解决多任务一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 变化检测 多模态数据 Transformer 一致性约束 深度学习 地球观测 语义分析

📋 核心要点

  1. 现有变化检测方法在处理多模态数据时，往往忽视了语义与高度变化检测任务之间的冲突，导致性能下降。
  2. 本文提出了一种基于Transformer的网络，通过跨注意力机制学习多模态数据的共享表示，并引入一致性约束以解决多任务冲突。
  3. 实验结果表明，所提模型在与五种最先进的变化检测方法对比中，展现出在语义和高度变化检测上的一致性优势。

📝 摘要（中文）

变化检测在地球观测中扮演着基础性角色，尤其是在分析时间序列变化时。然而，现有研究在利用多模态数据方面存在不足。本文提出了一种基于Transformer的网络，利用预事件数字表面模型（DSM）和后事件数字航空影像进行超越二维的变化检测。为了解决语义变化检测与高度变化检测任务之间的多任务冲突，研究引入了一种一致性约束，确保这两种任务在表示上的一致性。通过构建包含荷兰三个城市的DSM与影像多模态数据集，验证了所提方法在语义和高度变化检测上的优越性。

🔬 方法详解

问题定义：本文旨在解决现有变化检测方法在多模态数据处理中的不足，尤其是语义变化与高度变化检测任务之间的多任务冲突问题。

核心思路：通过引入基于Transformer的网络架构，利用跨注意力机制学习不同维度输入的共享表示，并通过一致性约束确保语义与高度变化检测任务之间的表示一致性。

技术框架：整体架构包括数据预处理、跨注意力机制模块和一致性约束模块。首先，通过高度变化阈值生成伪变化，然后在重叠区域内最小化语义变化与伪变化之间的$L2$距离。

关键创新：最重要的创新在于引入了一致性约束，使得高度变化检测（回归任务）与语义变化检测（分类任务）在表示上保持一致，这在现有方法中尚未得到有效解决。

关键设计：在网络结构上，采用了Transformer架构，损失函数设计为结合语义变化与伪变化的$L2$距离，确保模型在多任务学习中的有效性。

📊 实验亮点

实验结果显示，所提模型在语义和高度变化检测上均优于五种最先进的方法，具体提升幅度达到了XX%（具体数据待补充），验证了模型在多任务一致性处理上的有效性。

🎯 应用场景

该研究的潜在应用领域包括城市规划、灾后评估和环境监测等。通过提高变化检测的准确性和效率，能够为相关决策提供更为可靠的数据支持，进而推动智能城市和可持续发展的进程。

📄 摘要（原文）

Change detection plays a fundamental role in Earth observation for analyzing temporal iterations over time. However, recent studies have largely neglected the utilization of multimodal data that presents significant practical and technical advantages compared to single-modal approaches. This research focuses on leveraging {pre-event} digital surface model (DSM) data and {post-event} digital aerial images captured at different times for detecting change beyond 2D. We observe that the current change detection methods struggle with the multitask conflicts between semantic and height change detection tasks. To address this challenge, we propose an efficient Transformer-based network that learns shared representation between cross-dimensional inputs through cross-attention. {It adopts a consistency constraint to establish the multimodal relationship. Initially, pseudo-changes are derived by employing height change thresholding. Subsequently, the $L2$ distance between semantic and pseudo-changes within their overlapping regions is minimized. This explicitly endows the height change detection (regression task) and semantic change detection (classification task) with representation consistency.} A DSM-to-image multimodal dataset encompassing three cities in the Netherlands was constructed. It lays a new foundation for beyond-2D change detection from cross-dimensional inputs. Compared to five state-of-the-art change detection methods, our model demonstrates consistent multitask superiority in terms of semantic and height change detection. Furthermore, the consistency strategy can be seamlessly adapted to the other methods, yielding promising improvements.