A hybrid FEM-PINN method for time-dependent partial differential equations

📄 arXiv: 2409.02810v1 📥 PDF

作者: Xiaodong Feng, Haojiong Shangguan, Tao Tang, Xiaoliang Wan, Tao Zhou

分类: math.NA, cs.AI

发布日期: 2024-09-04

备注: 25pages

💡 一句话要点

提出混合有限元-PINN方法，高效求解时变偏微分方程

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 偏微分方程 有限元方法 物理信息神经网络 深度学习 数值模拟 自适应采样 时变问题

📋 核心要点

  1. 传统PINN方法在时空域上定义神经网络，存在时间积分统计误差和高维问题。
  2. 该方法结合时间有限元和PINN，用有限元基函数处理时间维度，神经网络预测空间系数。
  3. 自适应采样策略基于PDE残差密度模型，动态增加训练样本，提升模型精度和效率。

📝 摘要（中文）

本文提出了一种混合数值方法，通过融合时间有限元方法与深度神经网络来求解演化偏微分方程（PDEs）。与传统的基于深度学习的方法（神经网络定义在时空域上）不同，我们的方法在时间方向上利用有限元基函数，并将空间相关的系数定义为神经网络的输出。然后，我们在时间方向上应用伽辽金或配置投影，得到一个关于空间相关系数的偏微分方程组，该方程组在PINN框架中进行近似。这种混合公式的优点是双重的：避免了时间方向积分的统计误差，并且神经网络的输出可以被视为一组降维的空间基函数。为了进一步缓解高维性和低正则性带来的困难，我们开发了一种自适应采样策略来细化训练集。更具体地说，我们使用显式密度模型来近似由PDE残差引起的分布，然后使用学习到的密度模型提供的新的时变随机样本来扩充训练集。通过一系列数值实验证明了我们提出的方法的有效性和效率。

🔬 方法详解

问题定义：论文旨在解决时变偏微分方程的高效精确求解问题。传统的基于深度学习的偏微分方程求解方法，例如PINN，通常直接在时空域上定义神经网络，这会导致在时间积分过程中引入统计误差，并且在高维问题中训练困难。此外，神经网络难以有效捕捉解的低正则性特征。

核心思路：论文的核心思路是将时间维度采用有限元方法进行离散，而空间维度则利用PINN进行求解。通过这种混合方法，可以避免时间积分的统计误差，并且神经网络的输出可以被视为一组降维的空间基函数，从而降低了问题的维度。

技术框架：该方法首先在时间方向上使用有限元基函数进行离散，将原偏微分方程转化为关于空间相关系数的偏微分方程组。然后，利用PINN框架对该方程组进行求解，即使用神经网络逼近空间相关系数，并通过最小化PDE残差来训练网络。为了提高训练效率和精度，论文还提出了一种自适应采样策略。

关键创新：该方法最重要的创新点在于将时间有限元方法与PINN相结合，形成了一种混合求解框架。这种混合方法既利用了有限元方法在时间离散方面的优势，又发挥了PINN在处理复杂空间问题方面的能力。此外，自适应采样策略也是一个重要的创新点，它能够根据PDE残差的分布动态调整训练样本，从而提高模型的精度和效率。

关键设计：在时间离散方面，可以选择不同的有限元基函数和时间步长。在PINN框架中，需要设计合适的神经网络结构（例如，多层感知机）和激活函数。损失函数通常包括PDE残差项和边界条件项。自适应采样策略的关键在于如何有效地估计PDE残差的分布，论文中使用显式密度模型来近似该分布，并根据该模型生成新的训练样本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过一系列数值实验验证了所提出方法的有效性和效率。实验结果表明，该方法能够以较高的精度求解各种时变偏微分方程，并且在计算效率方面优于传统的PINN方法。自适应采样策略能够显著提高模型的精度和收敛速度。具体性能数据和对比基线在论文正文中给出。

🎯 应用场景

该方法可应用于各种涉及时变偏微分方程的科学和工程领域，例如流体力学、热传导、电磁学和结构力学等。它在解决复杂几何形状和非线性材料问题方面具有潜在优势，能够为相关领域的数值模拟提供一种高效且精确的工具，并加速相关问题的研究和解决。

📄 摘要（原文）

In this work, we present a hybrid numerical method for solving evolution partial differential equations (PDEs) by merging the time finite element method with deep neural networks. In contrast to the conventional deep learning-based formulation where the neural network is defined on a spatiotemporal domain, our methodology utilizes finite element basis functions in the time direction where the space-dependent coefficients are defined as the output of a neural network. We then apply the Galerkin or collocation projection in the time direction to obtain a system of PDEs for the space-dependent coefficients which is approximated in the framework of PINN. The advantages of such a hybrid formulation are twofold: statistical errors are avoided for the integral in the time direction, and the neural network's output can be regarded as a set of reduced spatial basis functions. To further alleviate the difficulties from high dimensionality and low regularity, we have developed an adaptive sampling strategy that refines the training set. More specifically, we use an explicit density model to approximate the distribution induced by the PDE residual and then augment the training set with new time-dependent random samples given by the learned density model. The effectiveness and efficiency of our proposed method have been demonstrated through a series of numerical experiments.