Generating time-consistent dynamics with discriminator-guided image diffusion models
作者: Philipp Hess, Maximilian Gelbrecht, Christof Schötz, Michael Aich, Yu Huang, Shangshang Yang, Niklas Boers
分类: cs.LG
发布日期: 2025-05-14 (更新: 2025-05-15)
💡 一句话要点
提出时间一致性判别器，引导预训练图像扩散模型生成时序动态
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 视频生成 扩散模型 时间一致性 判别器 气候模拟
📋 核心要点
- 视频扩散模型在生成逼真动态方面表现出色，但从头训练计算成本高昂，限制了其应用。
- 提出时间一致性判别器，无需修改或微调图像扩散模型，即可引导其生成逼真的时空动态。
- 实验表明，该方法在时间一致性、不确定性校准和偏差方面优于从头训练的视频扩散模型，并能进行长期气候模拟。
📝 摘要（中文）
本文提出了一种时间一致性判别器，使预训练的图像扩散模型能够生成逼真的时空动态。该判别器引导采样推理过程，无需扩展或微调图像扩散模型。作者将该方法与从头开始训练的视频扩散模型（VDM）在理想化的湍流模拟和真实世界的全球降水数据集上进行了比较。结果表明，该方法在时间一致性方面表现同样出色，与VDM相比，不确定性校准得到改善，偏差更低，并实现了每日时间步长下稳定的百年尺度气候模拟。
🔬 方法详解
问题定义：现有视频生成方法，特别是视频扩散模型，虽然能生成高质量的视频，但从头训练需要大量的计算资源和数据。这限制了它们在资源受限场景下的应用，例如长期气候模拟等需要长时间序列生成的任务。因此，如何利用已有的预训练图像扩散模型，高效地生成具有时间一致性的视频动态，是一个亟待解决的问题。
核心思路：本文的核心思路是利用一个时间一致性判别器来引导预训练图像扩散模型的采样过程。判别器的作用是判断生成的视频序列在时间上是否一致，并根据判别结果调整采样过程，从而生成更逼真的时空动态。这种方法避免了从头训练视频扩散模型，大大降低了计算成本。
技术框架：整体框架包含一个预训练的图像扩散模型和一个时间一致性判别器。图像扩散模型负责生成单帧图像，判别器则评估连续帧之间的时间一致性。在采样过程中，首先使用图像扩散模型生成初始帧，然后使用判别器评估当前帧与前一帧的时间一致性，并根据判别器的输出调整后续帧的生成过程。这个过程迭代进行，直到生成整个视频序列。
关键创新：最重要的创新点在于时间一致性判别器的设计和应用。该判别器能够有效地评估视频序列的时间一致性，并将其作为指导信号，引导图像扩散模型的采样过程。与直接训练视频扩散模型相比，这种方法更加高效，并且能够利用已有的预训练图像扩散模型的知识。
关键设计：时间一致性判别器通常是一个时序模型，例如循环神经网络（RNN）或Transformer。判别器的输入是连续的视频帧，输出是一个标量值，表示视频序列的时间一致性程度。损失函数可以使用二元交叉熵损失，目标是区分真实视频序列和生成的视频序列。在采样过程中，可以使用梯度引导的方法，根据判别器的输出调整图像扩散模型的采样分布。
🖼️ 关键图片
📊 实验亮点
该方法在理想化的湍流模拟和真实世界的全球降水数据集上进行了验证。实验结果表明，该方法在时间一致性方面与从头训练的视频扩散模型相当，但在不确定性校准和偏差方面表现更好。更重要的是，该方法能够实现每日时间步长下稳定的百年尺度气候模拟，这对于气候研究具有重要意义。
🎯 应用场景
该研究成果可广泛应用于视频生成、视频处理和视频建模等领域，例如计算流体动力学、天气预测和长期气候模拟。特别是在气候模拟方面，该方法能够生成长时间序列的、具有时间一致性的气候数据，有助于研究气候变化的影响和趋势。此外，该方法还可以应用于游戏开发、电影制作等领域，生成更加逼真的虚拟场景和特效。
📄 摘要（原文）
Realistic temporal dynamics are crucial for many video generation, processing and modelling applications, e.g. in computational fluid dynamics, weather prediction, or long-term climate simulations. Video diffusion models (VDMs) are the current state-of-the-art method for generating highly realistic dynamics. However, training VDMs from scratch can be challenging and requires large computational resources, limiting their wider application. Here, we propose a time-consistency discriminator that enables pretrained image diffusion models to generate realistic spatiotemporal dynamics. The discriminator guides the sampling inference process and does not require extensions or finetuning of the image diffusion model. We compare our approach against a VDM trained from scratch on an idealized turbulence simulation and a real-world global precipitation dataset. Our approach performs equally well in terms of temporal consistency, shows improved uncertainty calibration and lower biases compared to the VDM, and achieves stable centennial-scale climate simulations at daily time steps.