FNOPE: Simulation-based inference on function spaces with Fourier Neural Operators

📄 arXiv: 2505.22573v2 📥 PDF

作者: Guy Moss, Leah Sophie Muhle, Reinhard Drews, Jakob H. Macke, Cornelius Schröder

分类: cs.LG

发布日期: 2025-05-28 (更新: 2025-11-14)

💡 一句话要点

FNOPE：利用傅里叶神经算子进行函数空间上的模拟推断，提升时空过程建模效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 模拟推断 贝叶斯推断 傅里叶神经算子 函数空间 流匹配 时空过程 冰川学

📋 核心要点

  1. 现有SBI方法在处理气候、地球科学等领域的时空过程建模时，难以有效推断函数值参数。
  2. FNOPE利用傅里叶神经算子(FNO)架构和流匹配目标，实现了对函数值参数的高效后验估计。
  3. 实验表明，FNOPE在基准任务和冰川学空间推断任务中，显著降低了模拟预算，并支持任意离散化后验评估。

📝 摘要（中文）

模拟推断(SBI)是一种成熟的贝叶斯推断方法，常用于科学模拟器。目前，SBI在低维参数模型上表现最佳。然而，推断函数值参数非常困难，而函数值参数在气候和地球科学等模拟时空过程的学科中经常出现。本文提出了一种高效的后验估计方法，该方法使用具有流匹配目标的傅里叶神经算子(FNO)架构。结果表明，我们的方法FNOPE能够以远低于现有方法的模拟预算进行函数值参数的推断。此外，FNOPE支持在域的任意离散化上进行后验评估，以及同时估计向量值参数。我们在几个基准任务和一个来自冰川学的具有挑战性的空间推断任务上证明了该方法的有效性。FNOPE通过实现函数值参数的推断，将SBI方法的适用性扩展到新的科学领域。

🔬 方法详解

问题定义：论文旨在解决科学模拟中函数值参数的贝叶斯推断问题。传统的SBI方法在高维函数空间中面临计算复杂度高、效率低下的挑战，难以有效处理气候、地球科学等领域中常见的时空过程建模问题。现有方法需要大量的模拟数据才能获得准确的后验分布，计算成本非常高。

核心思路：论文的核心思路是利用傅里叶神经算子(FNO)学习模拟器的输入（函数值参数）到输出（观测数据）之间的映射关系，并结合流匹配技术构建一个可逆的神经网络，从而实现高效的后验推断。FNO能够有效地捕捉函数之间的复杂关系，流匹配技术则保证了后验分布的准确性和可采样性。

技术框架：FNOPE的整体框架包括以下几个主要步骤：1) 使用科学模拟器生成大量的输入-输出数据对，其中输入是函数值参数，输出是模拟结果。2) 使用这些数据训练一个FNO模型，使其能够准确地预测给定函数值参数的模拟结果。3) 利用流匹配技术，将FNO模型转化为一个可逆的神经网络，该网络可以将观测数据映射到函数值参数的后验分布。4) 使用该可逆网络进行后验推断，例如计算后验均值、方差或采样。

关键创新：该论文的关键创新在于将FNO和流匹配技术结合起来，用于函数值参数的贝叶斯推断。FNO能够有效地学习函数空间上的复杂映射关系，流匹配技术则保证了后验分布的准确性和可采样性。与传统的SBI方法相比，FNOPE能够显著降低模拟预算，并支持在任意离散化网格上进行后验评估。

关键设计：FNOPE的关键设计包括：1) FNO的网络结构，包括傅里叶变换、线性层和非线性激活函数。2) 流匹配的损失函数，用于训练可逆神经网络。3) 训练数据的生成策略，需要覆盖函数值参数的先验分布。4) 后验评估的采样方法，例如马尔可夫链蒙特卡洛(MCMC)或变分推断。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FNOPE在多个基准任务上实现了显著的性能提升。例如，在冰川学空间推断任务中，FNOPE能够以远低于现有方法的模拟预算（具体数值未知）进行准确的后验推断。此外，FNOPE还支持在任意离散化网格上进行后验评估，并能够同时估计向量值参数，进一步提高了方法的灵活性和适用性。

🎯 应用场景

FNOPE可广泛应用于气候科学、地球科学、流体动力学等领域，用于推断与时空过程相关的函数值参数，例如冰川融化速率、大气污染物浓度分布等。该方法能够加速科学模型的校准和不确定性量化，提高预测精度，为决策提供更可靠的依据。未来，FNOPE有望扩展到更复杂的科学模拟场景，例如多物理场耦合模拟和高维参数空间推断。

📄 摘要（原文）

Simulation-based inference (SBI) is an established approach for performing Bayesian inference on scientific simulators. SBI so far works best on low-dimensional parametric models. However, it is difficult to infer function-valued parameters, which frequently occur in disciplines that model spatiotemporal processes such as the climate and earth sciences. Here, we introduce an approach for efficient posterior estimation, using a Fourier Neural Operator (FNO) architecture with a flow matching objective. We show that our approach, FNOPE, can perform inference of function-valued parameters at a fraction of the simulation budget of state of the art methods. In addition, FNOPE supports posterior evaluation at arbitrary discretizations of the domain, as well as simultaneous estimation of vector-valued parameters. We demonstrate the effectiveness of our approach on several benchmark tasks and a challenging spatial inference task from glaciology. FNOPE extends the applicability of SBI methods to new scientific domains by enabling the inference of function-valued parameters.