Physics-informed fine-tuning of foundation models for partial differential equations
作者: Vlad Medvedev, Leon Armbruster, Christopher Straub, Georg Kruse, Andreas Rosskopf
分类: cs.LG, cs.AI, math.AP, math.NA
发布日期: 2026-03-16
备注: 12 pages, 6 figures, 1 table
期刊: ICLR 2026 Workshop on Artificial Intelligence and Partial Differential Equations
💡 一句话要点
提出物理信息微调框架，高效利用偏微分方程基础模型解决数据稀缺问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 偏微分方程 基础模型 物理信息 微调 科学机器学习
📋 核心要点
- 现有PDE基础模型微调方法在数据稀缺和分布偏移情况下表现不佳，缺乏有效利用物理信息的策略。
- 提出物理信息微调框架，将PDE残差和边界条件等物理约束融入微调目标，提升模型物理一致性。
- 实验表明，该方法在数据稀缺时达到竞争性精度，混合微调策略提升了模型在分布外场景的泛化能力。
📝 摘要（中文）
偏微分方程(PDE)基础模型已成为强大的代理模型，它们在各种物理系统上进行预训练。然而，由于任务特定数据有限和分布偏移，将它们应用于新的下游任务仍然具有挑战性。虽然微调已在自然语言处理中被证明是变革性的，但调整PDE基础模型的最佳实践仍未被充分探索。尽管物理信息训练已成功地训练了各种PDE问题的精确求解器，但其在微调数据驱动的基础模型方面的潜力尚未得到系统研究。本文提出了一种物理信息微调框架，通过将物理约束(PDE残差和边界条件)直接纳入微调目标，从而调整预训练的PDE基础模型。这使得在数据稀缺的情况下能够进行有效的调整，同时促进物理一致性。我们在一个由未见过的PDE类组成的下游任务上评估了我们的方法，并将其与数据驱动的微调方法进行了比较。结果表明，物理信息微调在不需要PDE解进行训练的情况下，实现了具有竞争力的精度。此外，当只有最少的训练数据可用时，混合微调策略可以更好地推广到分布外场景。这些发现确立了物理信息微调作为一种可扩展且数据高效的范例，为科学机器学习中调整基础模型提供了一条物理上可解释的途径。
🔬 方法详解
问题定义：论文旨在解决PDE基础模型在下游任务中，因数据稀缺和分布偏移导致的微调困难问题。现有数据驱动的微调方法忽略了PDE内在的物理约束，导致模型泛化能力受限，尤其是在训练数据不足的情况下。
核心思路：核心思路是将物理信息融入到微调过程中，通过最小化PDE残差和满足边界条件来约束模型的学习，从而提高模型在数据稀缺情况下的泛化能力和物理一致性。这种方法利用了PDE本身蕴含的物理规律，即使在没有大量真实解的情况下，也能有效地引导模型学习。
技术框架：整体框架包括三个主要部分：1) 预训练的PDE基础模型；2) 物理信息损失函数，包含PDE残差项和边界条件项；3) 微调过程，通过优化物理信息损失函数来调整预训练模型的参数。具体流程是，首先加载预训练模型，然后定义下游任务的PDE和边界条件，构建物理信息损失函数，最后使用优化算法（如Adam）最小化损失函数，完成模型微调。
关键创新：最重要的创新点在于将物理信息显式地融入到基础模型的微调过程中。与传统的数据驱动微调方法不同，该方法不仅依赖于数据，还利用了PDE的物理约束，从而在数据稀缺的情况下也能获得较好的性能。此外，混合微调策略结合了数据驱动和物理信息驱动的微调，进一步提升了模型的泛化能力。
关键设计：关键设计包括：1) PDE残差的计算方式，通常使用自动微分来计算PDE算子；2) 边界条件的施加方式，可以通过硬约束或软约束来实现；3) 损失函数的权重设置，需要平衡数据驱动损失和物理信息损失之间的比例；4) 网络结构的选择，可以使用各种神经网络结构，如MLP、CNN或Transformer等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，物理信息微调在数据稀缺的情况下，能够达到与数据驱动微调相当甚至更好的精度，而无需依赖大量的PDE解。混合微调策略在分布外场景下表现出更强的泛化能力。例如，在某个未公开的PDE问题上，物理信息微调在仅有少量训练数据的情况下，依然能够获得可接受的预测精度，显著优于纯数据驱动的微调方法。
🎯 应用场景
该研究成果可应用于各种科学与工程领域，例如流体力学、热传导、电磁学等。通过物理信息微调，可以高效地将预训练的PDE基础模型应用于新的物理系统，加速科学发现和工程设计过程，尤其是在实验数据获取成本高昂或难以获取的情况下，具有重要的实际价值和应用前景。
📄 摘要（原文）
Foundation models for partial differential equations (PDEs) have emerged as powerful surrogates pre-trained on diverse physical systems, but adapting them to new downstream tasks remains challenging due to limited task-specific data and distribution shifts. While fine-tuning has proven transformative in natural language processing, best practices for adapting PDE foundation models remain underexplored. Although physics-informed training has successfully trained accurate solvers across a wide range of PDE problems, its potential for fine-tuning data-based foundation models has not been systematically studied. In this work, we introduce a physics-informed fine-tuning framework that adapts pre-trained PDE foundation models by incorporating physical constraints (PDE residuals and boundary conditions) directly into the fine-tuning objective. This enables effective adaptation in data-scarce regimes while promoting physical consistency. We evaluate our method on a downstream task composed of an unseen PDE class and compare it with data-driven finetuning counterparts. Our results demonstrate that physics-informed fine-tuning achieves competitive accuracy without requiring PDE solutions for training. Furthermore, a hybrid fine-tuning strategy yields superior generalization to out-of-distribution scenarios when only minimal training data is available. These findings establish physics-informed fine-tuning as a scalable and data-efficient paradigm, providing a physically interpretable pathway for adapting foundation models in scientific machine learning.