Tadpole: Autoencoders as Foundation Models for 3D PDEs with Online Learning
作者: Qiang Liu, Felix Koehler, Benjamin Holzschuh, Nils Thuerey
分类: cs.LG
发布日期: 2026-05-14
🔗 代码/项目: GITHUB
💡 一句话要点
Tadpole：基于自编码器的三维偏微分方程在线学习基础模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 三维偏微分方程 自编码器 在线学习 基础模型 动力学学习
📋 核心要点
- 现有方法在三维偏微分方程建模中，面临着数据获取困难、模型泛化性差以及难以适应多种任务的挑战。
- Tadpole通过在线生成合成数据进行自编码器预训练，学习通用的三维偏微分方程表示，并采用参数高效的微调策略适应下游任务。
- 实验表明，Tadpole在动力学学习和生成建模等任务上表现出色，证明了其作为三维偏微分方程基础模型的有效性和通用性。
📝 摘要（中文）
本文提出了一种名为Tadpole的新型三维偏微分方程(PDEs)基础模型，旨在解决可迁移性、高维可扩展性和多功能性等关键挑战。Tadpole通过高效的在线数据生成框架，在合成的3D PDE数据上预训练为一个自编码器。这实现了大规模、多样化的训练，无需存储或I/O开销，数据规模相当于数百TB。通过自编码单通道空间裁剪，Tadpole学习了跨异构物理系统（具有不同数量的状态变量和空间分辨率）的丰富且可迁移的表示。尽管仅作为自编码器进行预训练，Tadpole可以有效地应用于重建之外的多个下游任务，包括动力学学习和生成建模。对于动力学学习，我们提出了一种新颖的参数高效微调策略，该策略集成了低秩适应、潜在空间变换和重新引入的跳跃连接，以最少的可训练参数实现精确的时间建模。Tadpole在各种下游任务中表现出强大的微调性能，突显了其作为3D PDE学习基础模型的多功能性和有效性。Tadpole的源代码和预训练权重可在https://github.com/tum-pbs/tadpole 获取。
🔬 方法详解
问题定义：现有三维偏微分方程建模方法通常依赖于有限的真实数据，难以泛化到不同的物理系统和任务。此外，高维数据的存储和处理也带来了巨大的计算负担。因此，需要一种能够高效学习通用三维偏微分方程表示，并能灵活适应各种下游任务的模型。
核心思路：Tadpole的核心思路是利用自编码器学习三维偏微分方程的潜在表示。通过在线生成大规模合成数据，避免了数据存储和I/O瓶颈。自编码器能够学习到数据中的关键特征，从而实现跨不同物理系统的泛化。此外，通过参数高效的微调策略，可以快速适应各种下游任务。
技术框架：Tadpole的整体框架包括三个主要阶段：1) 在线数据生成：利用高效的数值模拟器生成大规模的合成三维偏微分方程数据。2) 自编码器预训练：使用生成的数据训练自编码器，学习三维偏微分方程的潜在表示。3) 下游任务微调：针对不同的下游任务，采用参数高效的微调策略，将预训练的自编码器适应到特定任务。
关键创新：Tadpole的关键创新在于：1) 在线数据生成框架，能够高效地生成大规模的合成数据，避免了数据存储和I/O瓶颈。2) 基于自编码器的预训练方法，能够学习通用的三维偏微分方程表示，实现跨不同物理系统的泛化。3) 参数高效的微调策略，能够快速适应各种下游任务，降低了计算成本。
关键设计：Tadpole的关键设计包括：1) 使用单通道空间裁剪作为自编码器的输入，降低了计算复杂度。2) 采用低秩适应（LoRA）、潜在空间变换和跳跃连接等技术，实现参数高效的微调。3) 损失函数包括重建损失和正则化项，以保证学习到的潜在表示的质量。
🖼️ 关键图片
📊 实验亮点
Tadpole在多个下游任务上取得了显著的性能提升。例如，在动力学学习任务中，Tadpole通过参数高效的微调策略，仅使用少量可训练参数就实现了与现有方法相当甚至更好的性能。此外，Tadpole还能够生成高质量的三维偏微分方程数据，为进一步的研究提供了基础。
🎯 应用场景
Tadpole在流体动力学、热传导、电磁学等领域具有广泛的应用前景。它可以用于预测复杂物理系统的演化过程，进行参数优化和控制，以及生成新的物理场数据。该研究成果有望加速科学发现和工程设计，例如在气候模拟、航空航天和生物医学等领域。
📄 摘要（原文）
We introduce Tadpole, a novel foundation model for three-dimensional partial differential equations (PDEs) that addresses key challenges in transferability, scalability to high dimensionality, and multi-functionality. Tadpole is pre-trained as an autoencoder on synthetic 3D PDE data generated by an efficient online data-generation framework. This enables large-scale, diverse training without storage or I/O overhead, demonstrated by scaling to an equivalent of hundreds of terabytes of training data. By autoencoding single-channel spatial crops, Tadpole learns rich and transferable representations across heterogeneous physical systems with varying numbers of state variables and spatial resolutions. Although pre-trained solely as an autoencoder, Tadpole can be efficiently applied for multiple downstream tasks beyond reconstruction, including dynamics learning and generative modeling. For dynamics learning, we propose a novel parameter-efficient fine-tuning strategy that integrates low-rank adaptation, latent-space transformations, and reintroduced skip connections, achieving accurate temporal modeling with a minimal number of trainable parameters. Tadpole demonstrates strong fine-tuning performance across various downstream tasks, highlighting its versatility and effectiveness as a foundation model for 3D PDE learning. Source code and pre-trained weights of Tadpole are available at https://github.com/tum-pbs/tadpole