On latent dynamics learning in nonlinear reduced order modeling
作者: Nicola Farenga, Stefania Fresca, Simone Brivio, Andrea Manzoni
分类: math.NA, cs.LG
发布日期: 2024-08-27 (更新: 2024-11-28)
备注: 45 pages, revised version
💡 一句话要点
提出潜变量动力学模型(LDM)用于非线性降阶建模，提升参数化偏微分方程的求解精度。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 降阶建模 潜变量动力学模型 参数化偏微分方程 神经ODE 卷积自编码器
📋 核心要点
- 传统降阶建模方法难以有效处理非线性、时变的参数化偏微分方程，面临精度和计算效率的挑战。
- 论文提出潜变量动力学模型（LDM），将降阶建模转化为非线性降维问题，并约束潜在状态的动态演化。
- 数值实验表明，LDM框架能有效近似全阶模型解，并在多查询场景下保持精度，展现了其在降阶建模中的潜力。
📝 摘要（中文）
本文提出了一种新的数学框架，即潜变量动力学模型（LDM），用于参数化非线性时变偏微分方程的降阶建模。该框架将降阶建模任务转化为非线性降维问题，同时约束潜在状态按照一个（未知）动力学系统演化。在时间连续的背景下，推导了全阶模型（FOM）解的LDM近似的误差和稳定性估计。分析了在时间离散设置中使用显式Runge-Kutta方案的影响，得到了$Δ ext{LDM}$公式，并进一步探索了可学习的设置$Δ ext{LDM}_θ$，其中深度神经网络近似离散LDM组件，同时提供了相对于FOM的有界近似误差。此外，我们将参数化神经ODE的概念扩展到卷积架构，通过仿射调制机制注入输入参数信息，并设计了一个卷积自编码器神经网络，能够保持空间相干性，从而增强潜在层的可解释性。包括Burgers方程和对流-反应-扩散方程在内的数值实验表明，该框架能够在多查询上下文中获得FOM解的时间连续近似，从而能够在任何给定时间实例查询LDM近似，同时保持规定的精度水平。我们的研究结果突出了所提出的LDM的显著潜力，它代表了一个数学上严谨的框架，可以提高时变参数化偏微分方程降阶建模的精度和近似能力。
🔬 方法详解
问题定义：论文旨在解决参数化非线性时变偏微分方程（PDEs）的降阶建模问题。传统降阶建模方法，如POD（Proper Orthogonal Decomposition）等，在处理强非线性问题时，往往需要大量的基函数才能保证精度，导致计算成本仍然很高。此外，对于参数化的PDEs，需要针对每个参数值都进行模型训练，效率低下。
核心思路：论文的核心思路是将高维的PDE解映射到一个低维的潜在空间，并在该空间中学习一个动力学系统来描述解的时间演化。通过这种方式，可以将复杂的PDE求解问题转化为一个低维的动力学系统求解问题，从而降低计算复杂度。同时，通过学习一个参数化的动力学系统，可以实现对不同参数值的PDE解的快速预测。
技术框架：整体框架包含以下几个主要模块：1) 编码器：将高维的PDE解映射到低维的潜在空间。论文中使用卷积自编码器，以保持空间相干性。2) 潜在动力学模型：学习潜在空间中的动力学系统。论文提出了$Δ ext{LDM}$和$Δ ext{LDM}_θ$两种模型，前者使用显式Runge-Kutta方法进行时间离散，后者使用深度神经网络来近似离散的动力学系统。3) 解码器：将潜在空间的表示映射回高维的PDE解空间。同样使用卷积自编码器的解码器部分。4) 参数注入模块：将PDE的参数信息注入到潜在动力学模型中，使得模型能够适应不同的参数值。论文使用仿射调制机制来实现参数注入。
关键创新：论文的关键创新在于：1) 提出了潜变量动力学模型（LDM）框架，将降阶建模问题转化为潜在空间的动力学系统学习问题。2) 将参数化神经ODE扩展到卷积架构，并使用仿射调制机制注入参数信息。3) 提出了$Δ ext{LDM}_θ$模型，使用深度神经网络来近似离散的动力学系统，并证明了其相对于全阶模型的有界近似误差。
关键设计：1) 卷积自编码器：使用卷积层来提取空间特征，并保持空间相干性。2) 仿射调制：使用仿射变换将参数信息注入到卷积层的激活函数中。3) 损失函数：包括重构损失（衡量解码器输出与原始PDE解的差异）和动力学损失（衡量潜在状态的演化是否符合学习到的动力学系统）。4) 时间离散方案：使用显式Runge-Kutta方法进行时间离散，并分析了其对模型稳定性的影响。
📊 实验亮点
数值实验表明，所提出的LDM框架在Burgers方程和对流-反应-扩散方程上均取得了良好的效果。与传统的降阶建模方法相比，LDM能够在保持较高精度的同时，显著降低计算成本。特别是在多查询场景下，LDM能够快速预测不同参数值下的PDE解，展现了其强大的泛化能力。
🎯 应用场景
该研究成果可应用于各种涉及参数化偏微分方程的领域，如流体力学、热传导、电磁学等。例如，可以用于飞行器气动性能的快速评估、散热系统的优化设计、以及电磁设备的仿真分析。该方法能够显著降低计算成本，提高仿真效率，加速产品研发周期。
📄 摘要（原文）
In this work, we present the novel mathematical framework of latent dynamics models (LDMs) for reduced order modeling of parameterized nonlinear time-dependent PDEs. Our framework casts this latter task as a nonlinear dimensionality reduction problem, while constraining the latent state to evolve accordingly to an (unknown) dynamical system. A time-continuous setting is employed to derive error and stability estimates for the LDM approximation of the full order model (FOM) solution. We analyze the impact of using an explicit Runge-Kutta scheme in the time-discrete setting, resulting in the $Δ\text{LDM}$ formulation, and further explore the learnable setting, $Δ\text{LDM}_θ$, where deep neural networks approximate the discrete LDM components, while providing a bounded approximation error with respect to the FOM. Moreover, we extend the concept of parameterized Neural ODE - recently proposed as a possible way to build data-driven dynamical systems with varying input parameters - to be a convolutional architecture, where the input parameters information is injected by means of an affine modulation mechanism, while designing a convolutional autoencoder neural network able to retain spatial-coherence, thus enhancing interpretability at the latent level. Numerical experiments, including the Burgers' and the advection-reaction-diffusion equations, demonstrate the framework's ability to obtain, in a multi-query context, a time-continuous approximation of the FOM solution, thus being able to query the LDM approximation at any given time instance while retaining a prescribed level of accuracy. Our findings highlight the remarkable potential of the proposed LDMs, representing a mathematically rigorous framework to enhance the accuracy and approximation capabilities of reduced order modeling for time-dependent parameterized PDEs.