ChangeBridge: Spatiotemporal Image Generation with Multimodal Controls for Remote Sensing
作者: Zhenghui Zhao, Chen Wu, Xiangyong Cao, Di Wang, Hongruixuan Chen, Datao Tang, Liangpei Zhang, Zhuo Zheng
分类: cs.CV
发布日期: 2025-07-07 (更新: 2025-12-12)
💡 一句话要点
提出ChangeBridge，用于遥感时空图像生成，解决现有方法无法建模跨时序变化的问题。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时空图像生成 遥感图像 扩散模型 条件生成 变化检测 土地利用规划 漂移异步扩散桥
📋 核心要点
- 现有变化生成方法主要处理事件驱动的变化，忽略了遥感图像中普遍存在的跨时序变化，如季节性变化。
- ChangeBridge通过引入漂移异步扩散桥，利用像素级漂移图区分事件和时间演化，实现差异化的时空图像生成。
- 实验结果表明，ChangeBridge能够生成时空一致性更好的遥感场景，并在土地利用规划和变化检测数据生成方面展现潜力。
📝 摘要（中文）
时空图像生成是一项极具意义的任务，它可以根据给定的观测生成未来的场景。然而，现有的变化生成方法只能处理事件驱动的变化（例如，新建筑物），而无法建模跨时序的变化（例如，季节性变化）。本文提出了ChangeBridge，一种用于遥感的条件时空图像生成模型。给定事件前的图像和多模态事件控制，ChangeBridge生成在空间和时间上都一致的事件后场景。其核心思想是漂移异步扩散桥。具体来说，它包含三个主要模块：a) 组合桥初始化，它取代了噪声初始化，从组合的事件前状态开始扩散，建模扩散桥过程。b) 异步漂移扩散，它使用像素级的漂移图，为事件和时间演化分配不同的漂移幅度。这使得在从前到后的过渡期间能够进行差异化生成。c) 漂移感知去噪，它将漂移图嵌入到去噪网络中，引导漂移感知的重建。实验表明，与最先进的方法相比，ChangeBridge可以生成更好的跨时空对齐的场景。此外，ChangeBridge在土地利用规划和作为一系列变化检测任务的数据生成引擎方面显示出巨大的潜力。
🔬 方法详解
问题定义：现有的遥感图像变化生成方法主要关注事件驱动的变化，例如建筑物的新增或拆除。然而，遥感图像中存在大量的跨时序变化，例如季节性变化、植被生长等，这些变化无法被现有方法有效建模。因此，如何生成既能反映事件驱动变化，又能模拟跨时序变化的遥感图像是一个重要的挑战。
核心思路：ChangeBridge的核心思路是利用扩散桥模型，将事件前图像作为扩散过程的起点，并通过引入漂移图来控制扩散过程，从而生成事件后的图像。这种方法允许模型区分事件驱动的变化和跨时序变化，并分别进行建模。通过异步漂移扩散，模型可以为不同的像素分配不同的漂移幅度，从而实现差异化的生成。
技术框架：ChangeBridge包含三个主要模块：1) 组合桥初始化：使用事件前图像和事件控制信息来初始化扩散过程，而不是从随机噪声开始。2) 异步漂移扩散：使用像素级的漂移图来控制扩散过程，允许不同的像素以不同的速度演化。3) 漂移感知去噪：将漂移图嵌入到去噪网络中，引导去噪过程，从而生成与漂移图一致的图像。
关键创新：ChangeBridge的关键创新在于引入了漂移异步扩散桥，它允许模型区分事件驱动的变化和跨时序变化，并分别进行建模。传统的扩散模型通常从随机噪声开始，而ChangeBridge从事件前图像开始，这使得模型能够更好地利用已有的信息。此外，漂移图的使用使得模型能够控制扩散过程，从而生成更加可控的图像。
关键设计：漂移图是ChangeBridge的关键设计之一。它是一个像素级的映射，表示每个像素在扩散过程中需要移动的距离和方向。漂移图可以根据事件控制信息和时间演化信息来生成。在去噪过程中，漂移图被嵌入到去噪网络中，引导网络生成与漂移图一致的图像。具体的网络结构和损失函数等细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ChangeBridge在时空图像生成方面优于现有的方法。与最先进的方法相比，ChangeBridge能够生成更逼真、更符合实际情况的遥感图像。此外，ChangeBridge在土地利用规划和变化检测数据生成方面也展现出巨大的潜力，为相关领域的研究提供了新的思路和方法。
🎯 应用场景
ChangeBridge在多个领域具有潜在的应用价值。例如，它可以用于土地利用规划，通过模拟不同规划方案下的未来场景，帮助决策者评估不同方案的影响。此外，ChangeBridge还可以作为数据生成引擎，为变化检测任务提供大量的训练数据，从而提高变化检测算法的性能。该研究对于遥感图像分析和应用具有重要意义。
📄 摘要（原文）
Spatiotemporal image generation is a highly meaningful task, which can generate future scenes conditioned on given observations. However, existing change generation methods can only handle event-driven changes (e.g., new buildings) and fail to model cross-temporal variations (e.g., seasonal shifts). In this work, we propose ChangeBridge, a conditional spatiotemporal image generation model for remote sensing. Given pre-event images and multimodal event controls, ChangeBridge generates post-event scenes that are both spatially and temporally coherent. The core idea is a drift-asynchronous diffusion bridge. Specifically, it consists of three main modules: a) Composed bridge initialization, which replaces noise initialization. It starts the diffusion from a composed pre-event state, modeling a diffusion bridge process. b) Asynchronous Drift Diffusion, which uses a pixel-wise drift map, assigning different drift magnitudes to event and temporal evolution. This enables differentiated generation during the pre-to-post transition. c) Drift-Aware Denoising, which embeds the drift map into the denoising network, guiding drift-aware reconstruction. Experiments show that ChangeBridge can generate better cross-spatiotemporal aligned scenarios compared to state-of-the-art methods. Additionally, ChangeBridge shows great potential for land-use planning and as a data generation engine for a series of change detection tasks.