Parametric Taylor series based latent dynamics identification neural networks

📄 arXiv: 2410.04193v1 📥 PDF

作者: Xinlei Lin, Dunhui Xiao

分类: cs.LG, cs.NE, math.DS

发布日期: 2024-10-05

💡 一句话要点

提出基于参数化泰勒级数的潜变量动力学辨识神经网络(P-TLDINets)，用于高效求解参数化偏微分方程。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 降阶模型 潜变量动力学辨识 泰勒级数 参数化偏微分方程 神经网络 残差网络 k近邻 反距离加权

📋 核心要点

  1. 现有基于自编码器的潜变量动力学辨识方法计算成本高昂，且依赖于特定网格，泛化能力受限。
  2. P-TLDINets利用泰勒级数展开和残差网络学习降维空间的常微分方程，无需显式自编码器，结构更轻量。
  3. 实验表明，P-TLDINets训练速度较GPLaSDI和gLaSDI提升近百倍，L2误差低于2%，具有更高的效率和精度。

📝 摘要（中文）

本文提出了一种新的非线性动力学参数化潜变量辨识神经网络，称为P-TLDINets。该方法依赖于一种基于泰勒级数展开和残差网络（ResNets）的新型神经网络结构，用于学习控制降维空间动力学的常微分方程（ODEs）。在训练过程中，基于泰勒级数的潜变量动态神经网络（TLDNets）和辨识出的方程同时训练，以生成更平滑的潜空间。为了方便参数化研究，引入了一种基于反距离加权（IDW）插值的k近邻（KNN）方法，利用局部信息预测辨识出的ODE系数。与其他基于自编码器的潜变量动力学辨识方法相比，P-TLDINets保留了模型的可解释性。此外，它避免了显式自编码器的构建，避免了对特定网格的依赖，并具有更轻量级的结构，易于训练，具有较高的泛化能力和准确性。同时，它能够使用不同尺度的网格。与GPLaSDI和gLaSDI相比，P-TLDINets的训练速度提高了近百倍，同时保持了低于2%的L2误差。

🔬 方法详解

问题定义：论文旨在解决参数化偏微分方程（P-PDEs）数值求解计算量大的问题。现有的基于自编码器的降阶模型（ROMs）方法，如LaSDI, gLaSDI和GPLaSDI，虽然在描述低维潜空间的动力学系统方面显示出潜力，但仍然存在训练速度慢、依赖特定网格、泛化能力不足等问题。

核心思路：论文的核心思路是利用泰勒级数展开来近似潜空间的动力学方程，并使用神经网络学习泰勒级数的系数。通过这种方式，可以直接学习潜空间的动力学，而无需构建显式的自编码器。此外，使用k近邻（KNN）和反距离加权（IDW）插值方法来处理参数化问题，从而实现对不同参数下的动力学系统的预测。

技术框架：P-TLDINets的整体框架包括以下几个主要模块：1) 基于泰勒级数展开的潜变量动态神经网络（TLDNets），用于学习潜空间的动力学方程；2) 残差网络（ResNets），用于增强网络的学习能力；3) k近邻（KNN）和反距离加权（IDW）插值，用于处理参数化问题。训练过程同时训练TLDNets和辨识出的方程，以生成更平滑的潜空间。

关键创新：P-TLDINets的关键创新在于：1) 使用泰勒级数展开来近似潜空间的动力学方程，从而避免了构建显式的自编码器；2) 引入了基于反距离加权（IDW）插值的k近邻（KNN）方法，用于预测辨识出的ODE系数，从而实现对不同参数下的动力学系统的预测；3) 网络结构轻量化，易于训练，具有较高的泛化能力和准确性。

关键设计：P-TLDINets的关键设计包括：1) 泰勒级数的阶数选择，需要根据具体问题进行调整；2) 残差网络（ResNets）的层数和每层的神经元数量；3) k近邻（KNN）算法中k值的选择；4) 反距离加权（IDW）插值中的距离权重参数；5) 损失函数的设计，需要同时考虑潜空间动力学方程的拟合误差和参数化预测的误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，P-TLDINets在训练速度上相比GPLaSDI和gLaSDI提升了近百倍，同时保持了低于2%的L2误差。这表明P-TLDINets在保证精度的前提下，显著提高了计算效率，具有很强的实用价值。

🎯 应用场景

P-TLDINets可应用于各种参数化偏微分方程的快速求解，例如流体力学、热传导、结构力学等领域。该方法能够显著降低计算成本，提高仿真效率，为工程设计和优化提供有力支持。未来，该方法有望扩展到更复杂的物理系统和更高维度的问题。

📄 摘要（原文）

Numerical solving parameterised partial differential equations (P-PDEs) is highly practical yet computationally expensive, driving the development of reduced-order models (ROMs). Recently, methods that combine latent space identification techniques with deep learning algorithms (e.g., autoencoders) have shown great potential in describing the dynamical system in the lower dimensional latent space, for example, LaSDI, gLaSDI and GPLaSDI. In this paper, a new parametric latent identification of nonlinear dynamics neural networks, P-TLDINets, is introduced, which relies on a novel neural network structure based on Taylor series expansion and ResNets to learn the ODEs that govern the reduced space dynamics. During the training process, Taylor series-based Latent Dynamic Neural Networks (TLDNets) and identified equations are trained simultaneously to generate a smoother latent space. In order to facilitate the parameterised study, a $k$-nearest neighbours (KNN) method based on an inverse distance weighting (IDW) interpolation scheme is introduced to predict the identified ODE coefficients using local information. Compared to other latent dynamics identification methods based on autoencoders, P-TLDINets remain the interpretability of the model. Additionally, it circumvents the building of explicit autoencoders, avoids dependency on specific grids, and features a more lightweight structure, which is easy to train with high generalisation capability and accuracy. Also, it is capable of using different scales of meshes. P-TLDINets improve training speeds nearly hundred times compared to GPLaSDI and gLaSDI, maintaining an $L_2$ error below $2\%$ compared to high-fidelity models.