PI-MFM: Physics-informed multimodal foundation model for solving partial differential equations

📄 arXiv: 2512.23056v1 📥 PDF

作者: Min Zhu, Jingmin Sun, Zecheng Zhang, Hayden Schaeffer, Lu Lu

分类: cs.LG, physics.comp-ph

发布日期: 2025-12-28

💡 一句话要点

提出PI-MFM以高效解决偏微分方程问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏微分方程 物理信息驱动 多模态基础模型 数据效率 模型适应性

📋 核心要点

  1. 现有的多算子学习方法对数据需求高，且在训练中未能充分利用物理规律，导致效率低下。
  2. 本文提出PI-MFM框架，通过在预训练和适应阶段直接强制执行控制方程，提升模型的物理一致性。
  3. 在多个基准测试中，PI-MFM在稀疏数据和部分观察情况下表现优异，测试误差降至约1%。

📝 摘要（中文）

偏微分方程（PDE）描述了广泛的物理系统，近年来多模态基础模型在学习PDE解算子方面展现出潜力。然而，现有的多算子学习方法对数据需求较高，并且在训练过程中忽视了物理规律。本文提出了一种物理信息驱动的多模态基础模型（PI-MFM）框架，直接在预训练和适应过程中强制执行控制方程。PI-MFM以PDE的符号表示作为输入，通过向量化导数计算自动组装PDE残差损失。这些设计使得任何PDE编码的多模态基础模型都能以统一的物理信息驱动目标进行训练或适应。在13个参数化的一维时间依赖PDE基准测试中，PI-MFM在稀疏标记时空点、部分观察时间域或少量标记函数对的情况下，始终优于纯数据驱动的对手。物理损失进一步提高了对噪声的鲁棒性，简单的重采样策略显著提升了准确性。

🔬 方法详解

问题定义：本文旨在解决偏微分方程（PDE）求解中的数据需求高和物理规律忽视的问题。现有方法在训练过程中未能有效利用物理信息，导致模型性能受限。

核心思路：PI-MFM框架通过引入物理信息驱动的目标，在模型预训练和适应阶段直接强制执行控制方程，从而提高模型的物理一致性和数据效率。

技术框架：PI-MFM的整体架构包括输入PDE的符号表示、向量化导数计算模块和残差损失组装模块。该框架能够统一处理不同方程族的物理信息驱动目标。

关键创新：PI-MFM的主要创新在于通过物理信息驱动的目标来训练多模态基础模型，显著提高了模型在稀疏数据和部分观察条件下的鲁棒性和准确性。与现有方法相比，PI-MFM能够在没有标记解数据的情况下快速适应新方程。

关键设计：PI-MFM采用向量化导数计算以高效组装PDE残差损失，并在训练过程中引入物理损失以增强模型对噪声的鲁棒性。此外，重采样策略被应用于提高模型的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在13个参数化的一维时间依赖PDE基准测试中，PI-MFM在稀疏标记数据情况下的表现优于纯数据驱动模型，测试误差降至约1%。物理损失的引入提高了模型对噪声的鲁棒性，重采样策略显著提升了准确性。

🎯 应用场景

该研究的潜在应用领域包括工程、物理模拟和气候建模等，能够为偏微分方程求解提供高效、可转移的解决方案。PI-MFM的设计理念可扩展至其他科学计算领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

Partial differential equations (PDEs) govern a wide range of physical systems, and recent multimodal foundation models have shown promise for learning PDE solution operators across diverse equation families. However, existing multi-operator learning approaches are data-hungry and neglect physics during training. Here, we propose a physics-informed multimodal foundation model (PI-MFM) framework that directly enforces governing equations during pretraining and adaptation. PI-MFM takes symbolic representations of PDEs as the input, and automatically assembles PDE residual losses from the input expression via a vectorized derivative computation. These designs enable any PDE-encoding multimodal foundation model to be trained or adapted with unified physics-informed objectives across equation families. On a benchmark of 13 parametric one-dimensional time-dependent PDE families, PI-MFM consistently outperforms purely data-driven counterparts, especially with sparse labeled spatiotemporal points, partially observed time domains, or few labeled function pairs. Physics losses further improve robustness against noise, and simple strategies such as resampling collocation points substantially improve accuracy. We also analyze the accuracy, precision, and computational cost of automatic differentiation and finite differences for derivative computation within PI-MFM. Finally, we demonstrate zero-shot physics-informed fine-tuning to unseen PDE families: starting from a physics-informed pretrained model, adapting using only PDE residuals and initial/boundary conditions, without any labeled solution data, rapidly reduces test errors to around 1% and clearly outperforms physics-only training from scratch. These results show that PI-MFM provides a practical and scalable path toward data-efficient, transferable PDE solvers.