Liquid Fourier Latent Dynamics Networks for fast GPU-based numerical simulations in computational cardiology

📄 arXiv: 2408.09818v1 📥 PDF

作者: Matteo Salvador, Alison L. Marsden

分类: cs.LG, cs.CE, cs.NE

发布日期: 2024-08-19

💡 一句话要点

提出Liquid Fourier LDNets，加速计算心脏病学中基于GPU的数值模拟。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 科学机器学习 液体神经网络 傅里叶嵌入 计算心脏病学 数字孪生

📋 核心要点

  1. 现有基于物理的数值求解器计算成本高昂，难以满足实时性要求，尤其是在复杂几何和多物理场问题中。
  2. LFLDNets利用液体神经网络进行时间动态建模，并结合傅里叶嵌入加速高频函数学习，无需传统数值求解器。
  3. 在计算心脏病学的三维测试用例中，LFLDNets展现了在GPU上快速运行数值模拟的能力，为数字孪生开发提供新途径。

📝 摘要（中文）

科学机器学习(ML)作为一种经济高效的替代方案，在许多工程应用中正逐渐取代基于物理的数值求解器。科学ML目前被用于构建精确高效的替代模型，这些模型从高保真数值模拟开始，有效地将常微分方程(ODE)或偏微分方程(PDE)的参数化时间动态编码到适当设计的神经网络中。我们提出了一种Latent Dynamics Networks (LDNets)的扩展，即Liquid Fourier LDNets (LFLDNets)，用于为复杂几何体上高度非线性微分方程的多尺度和多物理场集合创建参数化的时空替代模型。LFLDNets采用神经学启发的稀疏液体神经网络进行时间动态建模，放宽了对时间推进的数值求解器的要求，并在可调参数、精度、效率和学习轨迹方面优于基于前馈全连接神经网络的神经ODE。此外，在LFLDNets的实现中，我们使用具有可调内核的傅里叶嵌入在重建网络中，以便比直接使用空间坐标作为输入更快更好地学习高频函数。我们在计算心脏病学的框架中挑战LFLDNets，并在来自多尺度心脏电生理学和心血管血流动力学的两个三维测试用例中评估它们的能力。本文展示了在单个或多个GPU上在几分钟内运行基于人工智能的数值模拟的能力，代表了物理信息数字孪生开发的重要一步。

🔬 方法详解

问题定义：论文旨在解决计算心脏病学中，对复杂几何结构和多物理场耦合系统进行高效数值模拟的问题。传统的基于物理的数值求解器，如有限元方法，计算量大，耗时久，难以满足实时性要求，阻碍了数字孪生的发展。

核心思路：论文的核心思路是利用科学机器学习，构建高精度、高效率的替代模型。通过学习高保真数值模拟数据，将复杂的时空动态信息编码到神经网络中，从而避免直接求解偏微分方程。LFLDNets的关键在于使用液体神经网络处理时间动态，并使用傅里叶嵌入加速高频信息的学习。

技术框架：LFLDNets的整体框架包含以下几个主要模块：1) 编码器：将空间坐标等输入信息编码到低维潜在空间；2) 液体神经网络：在潜在空间中学习时间动态，预测下一时刻的潜在状态；3) 解码器：将潜在状态解码回物理空间，得到预测结果。整个流程通过端到端的方式进行训练，最小化预测结果与真实值之间的误差。

关键创新：LFLDNets的关键创新在于两个方面：1) 使用液体神经网络替代传统的循环神经网络或前馈神经网络，液体神经网络具有稀疏连接和神经元之间的复杂交互，更适合捕捉复杂的非线性动态；2) 使用傅里叶嵌入，将空间坐标映射到高维傅里叶空间，从而更容易学习高频函数，提高模型的精度和收敛速度。

关键设计：在LFLDNets中，液体神经网络的结构和参数需要仔细设计，包括神经元的数量、连接的稀疏度、激活函数等。傅里叶嵌入的核函数和带宽也需要根据具体问题进行调整。损失函数通常采用均方误差或其变体，用于衡量预测结果与真实值之间的差异。此外，为了提高模型的泛化能力，可以采用数据增强、正则化等技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在两个三维计算心脏病学测试用例中验证了LFLDNets的有效性。实验结果表明，LFLDNets在精度、效率和学习轨迹方面均优于基于前馈全连接神经网络的神经ODE。LFLDNets能够在单个或多个GPU上在几分钟内完成数值模拟，显著提高了计算效率，为实时数字孪生的实现奠定了基础。

🎯 应用场景

LFLDNets在计算心脏病学中具有广泛的应用前景，例如个性化心脏建模、手术规划、药物研发等。通过构建基于人工智能的数字孪生，医生可以更准确地预测患者的心脏功能，制定更有效的治疗方案。此外，LFLDNets还可以应用于其他涉及复杂时空动态的科学计算领域，如流体力学、气候模拟等。

📄 摘要（原文）

Scientific Machine Learning (ML) is gaining momentum as a cost-effective alternative to physics-based numerical solvers in many engineering applications. In fact, scientific ML is currently being used to build accurate and efficient surrogate models starting from high-fidelity numerical simulations, effectively encoding the parameterized temporal dynamics underlying Ordinary Differential Equations (ODEs), or even the spatio-temporal behavior underlying Partial Differential Equations (PDEs), in appropriately designed neural networks. We propose an extension of Latent Dynamics Networks (LDNets), namely Liquid Fourier LDNets (LFLDNets), to create parameterized space-time surrogate models for multiscale and multiphysics sets of highly nonlinear differential equations on complex geometries. LFLDNets employ a neurologically-inspired, sparse, liquid neural network for temporal dynamics, relaxing the requirement of a numerical solver for time advancement and leading to superior performance in terms of tunable parameters, accuracy, efficiency and learned trajectories with respect to neural ODEs based on feedforward fully-connected neural networks. Furthermore, in our implementation of LFLDNets, we use a Fourier embedding with a tunable kernel in the reconstruction network to learn high-frequency functions better and faster than using space coordinates directly as input. We challenge LFLDNets in the framework of computational cardiology and evaluate their capabilities on two 3-dimensional test cases arising from multiscale cardiac electrophysiology and cardiovascular hemodynamics. This paper illustrates the capability to run Artificial Intelligence-based numerical simulations on single or multiple GPUs in a matter of minutes and represents a significant step forward in the development of physics-informed digital twins.