Data-Driven Stochastic Closure Modeling via Conditional Diffusion Model and Neural Operator

📄 arXiv: 2408.02965v3 📥 PDF

作者: Xinghao Dong, Chuanqi Chen, Jin-Long Wu

分类: cs.LG, math.DS, physics.comp-ph

发布日期: 2024-08-06 (更新: 2025-04-18)

💡 一句话要点

提出基于条件扩散模型和神经算子的数据驱动随机闭包建模方法

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 闭包建模 随机建模 扩散模型 神经算子 傅里叶神经算子

📋 核心要点

  1. 复杂多尺度动力系统（如湍流和地球系统）的直接数值模拟成本高昂，闭包模型被广泛使用，但传统确定性模型泛化性不足。
  2. 论文提出将傅里叶神经算子融入基于分数的扩散模型，构建数据驱动的随机闭包模型，用于模拟偏微分方程控制的复杂动力系统。
  3. 研究展示了加速采样方法能够有效提升数据驱动随机闭包模型的效率，为构建多尺度动力系统闭包模型提供了一种新途径。

📝 摘要（中文）

本研究提出了一种数据驱动的建模框架，用于构建随机和非局部闭包模型，该模型利用条件扩散模型和神经算子。具体而言，傅里叶神经算子被整合到基于分数的扩散模型中，作为复杂动力系统的闭包模型，这些系统由偏微分方程（PDE）控制。此外，本文还展示了加速采样方法如何提高数据驱动随机闭包模型的效率。结果表明，该方法提供了一种通过生成式机器学习技术构建多尺度动力系统数据驱动随机闭包模型的系统方法，适用于具有连续时空场的系统。

🔬 方法详解

问题定义：论文旨在解决复杂多尺度动力系统建模中，传统确定性和局部闭包模型泛化能力不足的问题。这些系统通常缺乏清晰的尺度分离，使得现有的闭包模型难以准确捕捉系统动态，限制了其在实际应用中的性能。

核心思路：论文的核心思路是利用数据驱动的方法，结合生成式模型（条件扩散模型）和神经算子，构建随机且非局部的闭包模型。通过学习历史数据中的模式，模型能够生成符合系统动态的随机场，从而更准确地模拟复杂系统的演化。

技术框架：整体框架包含以下几个主要部分：1) 数据收集与预处理：收集复杂动力系统的历史数据，并进行必要的预处理，例如标准化。2) 傅里叶神经算子（FNO）：使用FNO学习系统状态之间的映射关系，捕捉非局部相互作用。3) 条件扩散模型：将FNO嵌入到基于分数的扩散模型中，该模型学习数据分布的梯度场，从而能够生成符合数据分布的随机场。4) 加速采样：采用加速采样方法，提高扩散模型的采样效率，降低计算成本。

关键创新：最重要的技术创新点在于将神经算子与条件扩散模型相结合，构建数据驱动的随机闭包模型。与传统的确定性模型相比，该模型能够生成随机场，更好地捕捉系统的不确定性。与传统的局部模型相比，神经算子能够捕捉非局部相互作用，提高模型的准确性。

关键设计：论文采用傅里叶神经算子作为神经算子的具体实现，利用傅里叶变换在频域进行计算，能够高效地学习非局部相互作用。扩散模型采用基于分数的扩散模型，通过学习数据分布的梯度场，实现数据的生成。损失函数包括扩散模型的训练损失和用于约束闭包模型输出的正则化项。加速采样方法采用例如Denoising Diffusion Implicit Models (DDIM)等技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出方法的有效性。结果表明，该方法能够生成符合系统动态的随机场，并能够准确地预测系统的演化。与传统的确定性模型相比，该方法能够更好地捕捉系统的不确定性，提高模拟的精度。此外，加速采样方法能够有效提高扩散模型的采样效率，降低计算成本。具体性能数据未知，但论文强调了方法在捕捉随机性和提高效率方面的优势。

🎯 应用场景

该研究成果可应用于多种复杂多尺度动力系统的建模与仿真，例如湍流模拟、气候预测、海洋环流建模等。通过构建更准确的闭包模型，可以提高这些系统模拟的精度和可靠性，为相关领域的科学研究和工程应用提供有力支持。此外，该方法还可以推广到其他类型的偏微分方程控制的系统，具有广泛的应用前景。

📄 摘要（原文）

Closure models are widely used in simulating complex multiscale dynamical systems such as turbulence and the earth system, for which direct numerical simulation that resolves all scales is often too expensive. For those systems without a clear scale separation, deterministic and local closure models often lack enough generalization capability, which limits their performance in many real-world applications. In this work, we propose a data-driven modeling framework for constructing stochastic and non-local closure models via conditional diffusion model and neural operator. Specifically, the Fourier neural operator is incorporated into a score-based diffusion model, which serves as a data-driven stochastic closure model for complex dynamical systems governed by partial differential equations (PDEs). We also demonstrate how accelerated sampling methods can improve the efficiency of the data-driven stochastic closure model. The results show that the proposed methodology provides a systematic approach via generative machine learning techniques to construct data-driven stochastic closure models for multiscale dynamical systems with continuous spatiotemporal fields.