The Well: a Large-Scale Collection of Diverse Physics Simulations for Machine Learning

📄 arXiv: 2412.00568v2 📥 PDF

作者: Ruben Ohana, Michael McCabe, Lucas Meyer, Rudy Morel, Fruzsina J. Agocs, Miguel Beneitez, Marsha Berger, Blakesley Burkhart, Keaton Burns, Stuart B. Dalziel, Drummond B. Fielding, Daniel Fortunato, Jared A. Goldberg, Keiya Hirashima, Yan-Fei Jiang, Rich R. Kerswell, Suryanarayana Maddu, Jonah Miller, Payel Mukhopadhyay, Stefan S. Nixon, Jeff Shen, Romain Watteaux, Bruno Régaldo-Saint Blancard, François Rozet, Liam H. Parker, Miles Cranmer, Shirley Ho

分类: cs.LG, physics.flu-dyn

发布日期: 2024-11-30 (更新: 2025-02-21)

备注: 38th Conference on Neural Information Processing Systems (NeurIPS 2024) Track on Datasets and Benchmarks

🔗 代码/项目: GITHUB

💡 一句话要点

构建大规模物理模拟数据集The Well，促进机器学习在物理系统建模中的应用。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 物理模拟 机器学习 数据集 基准测试 流体动力学 磁流体动力学 PyTorch 科学计算

📋 核心要点

  1. 现有物理模拟数据集规模小，覆盖范围窄，难以有效评估机器学习方法在复杂物理系统建模中的能力。
  2. The Well数据集通过汇集多个领域的物理模拟数据，提供了一个大规模、多样化的基准，用于训练和评估机器学习模型。
  3. 论文提供统一的PyTorch接口，并展示了基线模型在The Well数据集上的表现，为后续研究提供了参考。

📝 摘要（中文）

本文介绍了一个大规模的物理模拟数据集The Well，旨在为机器学习加速模拟工作流程提供强大的工具。现有数据集通常只覆盖小范围的物理行为，难以评估新方法的有效性。The Well包含来自领域专家和数值软件开发者的15TB数据，涵盖16个数据集，覆盖生物系统、流体动力学、声散射以及星系外流体或超新星爆炸的磁流体动力学模拟等不同领域。这些数据集可以单独使用，也可以作为更广泛的基准测试套件的一部分。为了方便使用，我们提供了一个统一的PyTorch接口用于训练和评估模型。我们通过引入示例基线来展示该库的功能，这些基线突出了The Well复杂动力学带来的新挑战。代码和数据可在https://github.com/PolymathicAI/the_well获取。

🔬 方法详解

问题定义：现有机器学习在物理模拟领域的应用受限于数据集的规模和多样性。已有的数据集往往只关注特定类型的物理现象，无法充分评估模型在处理复杂、多变的物理系统时的泛化能力。因此，需要一个大规模、多样化的数据集来推动相关研究。

核心思路：The Well的核心思路是汇集来自不同领域、不同类型的物理模拟数据，构建一个统一的、易于访问的基准数据集。通过提供多样化的数据，鼓励研究者开发更具鲁棒性和泛化能力的机器学习模型，从而加速物理模拟工作流程。

技术框架：The Well数据集包含16个不同的数据集，涵盖生物系统、流体动力学、声散射以及磁流体动力学等领域。每个数据集都包含数值模拟的结果，并提供了相应的元数据。为了方便用户使用，论文提供了一个统一的PyTorch接口，用于加载、预处理和分析数据。该接口支持多种数据格式，并提供了常用的数据增强方法。

关键创新：The Well的主要创新在于其数据集的规模和多样性。与以往的数据集相比，The Well包含了更多不同类型的物理现象，并且每个数据集的规模也更大。这使得研究者可以训练更复杂的模型，并评估模型在更广泛的场景下的表现。此外，统一的PyTorch接口也降低了用户的使用门槛。

关键设计：The Well数据集的设计考虑了数据的多样性和易用性。每个数据集都经过精心挑选，以确保其具有代表性和挑战性。数据集的格式也经过标准化，以便用户可以使用统一的接口进行访问。此外，论文还提供了详细的文档和示例代码，帮助用户快速上手。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在The Well数据集上训练和评估基线模型，展示了该数据集的挑战性和价值。实验结果表明，即使是先进的机器学习模型，在处理复杂物理现象时仍然面临困难。这表明The Well数据集可以作为未来研究的有效基准，推动机器学习在物理模拟领域的进一步发展。

🎯 应用场景

The Well数据集可广泛应用于物理模拟加速、参数空间探索、反问题求解等领域。例如，可以训练机器学习模型来预测流体流动、声波传播或磁场演化，从而替代耗时的数值模拟。该数据集还有助于开发更通用的物理建模方法，推动科学发现和工程创新。

📄 摘要（原文）

Machine learning based surrogate models offer researchers powerful tools for accelerating simulation-based workflows. However, as standard datasets in this space often cover small classes of physical behavior, it can be difficult to evaluate the efficacy of new approaches. To address this gap, we introduce the Well: a large-scale collection of datasets containing numerical simulations of a wide variety of spatiotemporal physical systems. The Well draws from domain experts and numerical software developers to provide 15TB of data across 16 datasets covering diverse domains such as biological systems, fluid dynamics, acoustic scattering, as well as magneto-hydrodynamic simulations of extra-galactic fluids or supernova explosions. These datasets can be used individually or as part of a broader benchmark suite. To facilitate usage of the Well, we provide a unified PyTorch interface for training and evaluating models. We demonstrate the function of this library by introducing example baselines that highlight the new challenges posed by the complex dynamics of the Well. The code and data is available at https://github.com/PolymathicAI/the_well.