Energy-based Transport for Amortized Bayesian Inference

📄 arXiv: 2605.15407 📥 PDF

作者: Ricardo Baptista, Hojjat Kaveh, Andrew M. Stuart

分类: math.NA, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出基于能量的传输方法以解决非线性逆问题的贝叶斯推断

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 贝叶斯推断 非线性逆问题 能量距离 传输映射 高维数据 神经算子 快速采样

📋 核心要点

  1. 现有的马尔可夫链蒙特卡洛方法在每次观测时都需重新进行后验推断，计算成本高昂，尤其在无限维情况下更为明显。
  2. 本文提出了一种基于能量的传输映射，通过学习一个可重用的映射来快速生成新观测的后验样本，避免了传统方法的高计算开销。
  3. 实验结果表明，该方法能够有效捕捉后验的多模态特性，并在有限维问题及基于 PDE 的多孔介质流动和地震逆问题中实现快速采样。

📝 摘要（中文）

本文考虑了在非线性逆问题中进行的 amortized 贝叶斯推断，利用参数与观测的联合分布样本，尤其是涉及未知函数的 Banach 空间问题。传统的马尔可夫链蒙特卡洛方法在每次观测时都需解决新的推断问题，导致在无限维度下计算开销巨大。相较之下，amortized 贝叶斯反演学习一个可重用的映射，快速生成新观测的后验样本。我们通过学习一个依赖于观测的传输映射，将参考测度推送到近似后验，训练过程中最小化后验与学习到的推送之间的平均能量距离。该方法不依赖于似然评估，仅需联合分布样本，适用于高维和无限维设置。

🔬 方法详解

问题定义：本文旨在解决非线性逆问题中的 amortized 贝叶斯推断，传统方法在每次观测时需重新计算后验，导致计算效率低下，尤其在无限维情况下更为突出。

核心思路：论文提出通过学习一个依赖于观测的传输映射，将参考测度推送到近似后验，从而实现快速生成后验样本，避免了对似然函数的评估。

技术框架：整体架构包括训练阶段和推断阶段。训练阶段通过最小化后验与学习到的推送之间的能量距离来优化传输映射；推断阶段则利用学习到的映射快速生成新观测的后验样本。

关键创新：最重要的创新在于引入了能量距离目标，消除了对传输映射可逆性和雅可比行列式计算的需求，使得在高维和无限维设置中能够灵活参数化。

关键设计：在后验相对于高斯先验测度有密度的情况下，构建传输映射为恒等映射加上一个可学习的映射，确保学习到的后验相对于先验保持绝对连续性。传输映射在无限维情况下使用神经算子进行参数化，以适应不同的网格分辨率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，学习到的传输映射能够有效捕捉后验的多模态特性，并在有限维问题及 PDE 基础的多孔介质流动和地震逆问题中实现了显著的加速采样，提升了推断效率。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在物理建模、地质勘探和医学成像等领域。通过提高贝叶斯推断的效率，能够加速复杂系统的分析与决策过程，推动相关领域的研究进展。

📄 摘要（原文）

We consider amortized Bayesian inference for nonlinear inverse problems using only samples from the joint distribution of parameters and observations, including problems with unknown functions in a Banach space. Classical methods such as Markov chain Monte Carlo solve a new inference problem for each observation, making repeated posterior inference computationally prohibitive, particularly in infinite dimensions. Amortized Bayesian inversion instead learns a reusable map that rapidly generates posterior samples for new observations. We learn an observation-dependent transport map that pushes a reference measure to an approximate posterior. Training minimizes the average energy distance between the posterior and the learned pushforward. Averaging over observations allows generalization across observation instances and efficient amortized inference. Furthermore, the formulation is likelihood-free, requiring only samples from the joint distribution and avoiding likelihood evaluation. In addition, the use of an energy-distance objective removes the need for invertibility of the transport map and for computation of Jacobian determinants, enabling flexible parameterizations in high- and infinite-dimensional settings. Moreover, when the posterior has a density with respect to a Gaussian prior measure, we construct transport maps as the identity plus a learnable map valued in the prior's Cameron--Martin space. This guarantees that the learned posterior remains absolutely continuous with respect to the prior. In infinite dimensions, the transport map is parameterized using neural operators, enabling use at different grid resolutions. We demonstrate the approach on a finite-dimensional problem and PDE-based porous-medium flow and seismic inverse problems. The learned transport captures multimodality and dominant posterior modes while enabling fast sampling.