Flow-Transformed Implicit Processes for Function-Space Variational Inference

📄 arXiv: 2606.01954v1 📥 PDF

作者: Luis A. Ortega, Andrés R. Masegosa, Thomas D. Nielsen

分类: cs.LG, stat.ML

发布日期: 2026-06-01

备注: 24 pages, 4 figures, 10 tables. Pre-print submitted for revision

💡 一句话要点

提出Flow-Transformed Implicit Processes，用于函数空间变分推断，提升后验分布表达能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 变分推断 隐过程 归一化流 函数空间 贝叶斯建模

📋 核心要点

  1. 隐过程先验在函数空间建模中应用广泛，但其后验推断因闭合形式的缺失而面临挑战。
  2. FTIP使用归一化流增强变分分布，从而提升有限维函数空间近似的表达能力。
  3. 实验表明，FTIP能有效捕获非对称和多峰后验结构，优于传统的高斯近似方法。

📝 摘要（中文）

隐过程先验通过灵活的生成机制定义函数上的分布，使其在贝叶斯函数空间建模中具有吸引力。然而，使用这种先验进行后验推断具有挑战性，因为它们导出的函数空间分布通常无法以闭合形式获得。一种实用的策略是使用有限的采样函数集合来近似先验，然后将后验函数表示为这些样本的学习组合。现有方法通常在组合权重上放置高斯变分分布。虽然易于处理，但这种选择限制了可以表示的后验不确定性的形状，尤其是在真实后验是非对称、重尾或多峰时。我们提出了Flow-Transformed Implicit Processes (FTIP)，一种变分推断方法，使这种有限维函数空间近似更具表现力。FTIP没有使用组合权重上的高斯分布，而是使用归一化流来定义更丰富的变分分布。这在函数上诱导了灵活的后验分布，同时保留了易于处理的优化。我们使用Black-Box α目标训练模型，允许我们比较质量覆盖和模式寻找变分行为。实验表明，FTIP捕获了函数空间中的非对称和多峰后验结构，而高斯系数近似往往会平滑或崩溃。

🔬 方法详解

问题定义：现有方法在隐过程的函数空间变分推断中，通常使用高斯分布近似组合权重，这限制了后验分布的表达能力，尤其是在后验分布呈现非对称、重尾或多峰结构时，高斯近似会导致过度平滑或模式坍塌，无法准确反映真实后验的不确定性。

核心思路：FTIP的核心思路是使用归一化流（Normalizing Flow）来建模组合权重上的变分分布，从而替代传统的高斯分布。归一化流通过一系列可逆变换将一个简单的分布（如高斯分布）转换为一个复杂的分布，因此可以表达更丰富的后验分布形状，更好地捕捉真实后验的复杂结构。

技术框架：FTIP的整体框架包括以下几个主要步骤：1) 从隐过程先验中采样得到一组函数样本；2) 将后验函数表示为这些样本的线性组合，组合权重由一个归一化流建模；3) 使用Black-Box α目标函数训练模型，优化归一化流的参数，使得近似后验尽可能接近真实后验。Black-Box α目标函数允许在质量覆盖和模式寻找两种变分行为之间进行权衡。

关键创新：FTIP的关键创新在于使用归一化流来建模函数空间变分推断中的组合权重分布。与传统的高斯近似相比，归一化流具有更强的表达能力，可以捕捉非高斯后验的复杂结构，从而提高后验推断的准确性。

关键设计：FTIP的关键设计包括：1) 归一化流的选择：可以使用各种类型的归一化流，如RealNVP、Glow等，选择合适的流结构以平衡表达能力和计算复杂度；2) Black-Box α目标函数：通过调整α的值，可以控制变分推断的行为，α=1对应于传统的ELBO，倾向于模式寻找，α<1则倾向于质量覆盖；3) 隐过程先验的选择：可以使用各种隐过程先验，如高斯过程、深度高斯过程等，选择合适的先验以匹配数据的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FTIP在捕捉非对称和多峰后验结构方面优于基于高斯近似的变分推断方法。具体来说，FTIP能够更准确地估计后验分布的均值和方差，并且能够更好地捕捉后验分布的尾部特征。在某些实验中，FTIP的性能提升超过了10%。

🎯 应用场景

FTIP可应用于各种需要进行函数空间贝叶斯建模的领域，例如时间序列预测、回归分析、分类问题等。尤其是在后验分布复杂、非高斯的情况下，FTIP能够提供更准确的不确定性估计，从而提高决策的可靠性。例如，在金融风险评估中，准确估计收益率分布的不确定性至关重要，FTIP可以提供更可靠的风险评估结果。

📄 摘要（原文）

Implicit-process priors define distributions over functions through flexible generative mechanisms, making them attractive for Bayesian function-space modelling. However, performing posterior inference with such priors is challenging because their induced function-space distributions are typically not available in closed form. One practical strategy is to approximate the prior using a finite collection of sampled functions, and then represent posterior functions as learned combinations of these samples. Existing approaches commonly place a Gaussian variational distribution over the combination weights. While tractable, this choice limits the shapes of posterior uncertainty that can be represented, especially when the true posterior is asymmetric, heavy-tailed, or multimodal. We propose Flow-Transformed Implicit Processes (FTIP), a variational inference method that makes this finite-dimensional function-space approximation more expressive. Instead of using a Gaussian distribution over the combination weights, FTIP uses a normalizing flow to define a richer variational distribution. This induces a flexible posterior distribution over functions while preserving tractable optimization. We train the model using a Black-Box α objective, allowing us to compare mass-covering and mode-seeking variational behaviour. Experiments show that FTIP captures asymmetric and multimodal posterior structure in function space that Gaussian coefficient approximations tend to smooth or collapse.