Deep Gaussian Processes for Functional Maps

📄 arXiv: 2510.22068 📥 PDF

作者: Matthew Lowery, Zhitong Xu, Da Long, Keyan Chen, Daniel S. Johnson, Yang Bai, Varun Shankar, Shandian Zhe

分类: cs.LG, stat.ML

发布日期: 2026-04-07

💡 一句话要点

提出DGPFM模型，解决函数空间映射中的非线性关系建模和不确定性量化问题。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 深度高斯过程 函数空间映射 函数数据分析 核积分变换 变分推断

📋 核心要点

  1. 现有函数空间映射方法难以捕捉复杂非线性关系，且在数据质量不高时，不确定性量化能力不足。
  2. DGPFM通过在函数空间构建深度高斯过程，利用核积分变换和非线性激活，实现更灵活的函数映射。
  3. 实验结果表明，DGPFM在预测精度和不确定性校准方面优于现有方法，尤其是在噪声数据上。

📝 摘要（中文）

函数空间之间的映射学习，也称为函数对函数回归，是函数数据分析中的一个基本问题，在时空预测、曲线预测和气候建模等领域有着广泛的应用。现有的方法通常难以捕捉复杂的非线性关系，并且在数据存在噪声、稀疏或不规则采样时，无法提供可靠的不确定性量化。为了解决这些挑战，我们提出了用于函数映射的深度高斯过程（DGPFM）。我们的方法直接在函数空间中构建一系列基于高斯过程的线性和非线性变换，利用核积分变换、高斯过程条件均值以及从高斯过程采样的非线性激活。一个关键的见解使得简化和灵活的实现成为可能：在固定的评估位置下，核积分变换的离散近似简化为直接函数积分变换，从而可以无缝集成不同的变换设计。为了支持可扩展的概率推理，我们在变分学习框架内采用诱导点和白化变换。在真实世界和合成基准数据集上的实验结果表明，DGPFM在预测精度和不确定性校准方面具有优势。

🔬 方法详解

问题定义：论文旨在解决函数空间映射（function-on-function regression）问题，即学习函数之间的映射关系。现有方法，如线性模型或浅层非线性模型，难以捕捉复杂非线性关系。此外，当数据存在噪声、稀疏或不规则采样时，现有方法无法提供可靠的不确定性量化，限制了其在实际应用中的效果。

核心思路：论文的核心思路是利用深度高斯过程（Deep Gaussian Processes, DGP）直接在函数空间中建模复杂的非线性映射关系。通过堆叠多个高斯过程层，每一层都进行线性和非线性变换，从而逐步提取函数特征并建立映射。这种深度结构能够更好地捕捉函数之间的复杂依赖关系，同时高斯过程的概率特性能够提供不确定性量化。

技术框架：DGPFM的整体框架包括以下几个主要模块： 1. 输入层：接收函数数据作为输入，函数数据可以是离散采样点或连续函数表达式。 2. 高斯过程层：每一层包含一个基于高斯过程的线性变换和一个非线性激活函数。线性变换通过核积分变换实现，非线性激活函数从高斯过程中采样。 3. 输出层：输出映射后的函数数据，可以是预测的函数值或函数分布。 4. 变分学习框架：采用诱导点和白化变换，实现可扩展的概率推理，从而进行模型训练和参数估计。

关键创新：DGPFM的关键创新在于： 1. 函数空间深度建模：直接在函数空间构建深度高斯过程，避免了将函数数据转换为固定维度的向量表示，保留了函数的原始结构信息。 2. 核积分变换的简化：通过固定评估位置，将核积分变换的离散近似简化为直接函数积分变换，简化了实现并提高了效率。 3. 可扩展的概率推理：采用诱导点和白化变换，实现了大规模数据集上的高效训练和推理。

关键设计：DGPFM的关键设计包括： 1. 核函数的选择：可以选择不同的核函数来捕捉函数之间的不同依赖关系，如RBF核、线性核等。 2. 诱导点的数量和位置：诱导点的数量和位置会影响模型的性能和计算复杂度，需要根据具体数据集进行调整。 3. 变分参数的优化：使用变分推断方法优化高斯过程的参数和诱导点的参数，以最大化变分下界。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在真实世界和合成基准数据集上进行了实验，结果表明DGPFM在预测精度和不确定性校准方面优于现有方法。具体来说，DGPFM在多个数据集上取得了state-of-the-art的性能，并且能够提供更准确的不确定性估计，尤其是在数据质量较差的情况下，提升幅度显著。

🎯 应用场景

DGPFM在函数数据分析领域具有广泛的应用前景，例如：时空预测（预测未来一段时间内的温度、降水等）、曲线预测（预测股票价格走势、患者生理指标变化等）、气候建模（模拟气候变化趋势）。该方法能够处理噪声、稀疏或不规则采样的数据，并提供可靠的不确定性量化，因此在实际应用中具有很高的价值。

📄 摘要（原文）

Learning mappings between functional spaces, also known as function-on-function regression, is a fundamental problem in functional data analysis with broad applications, including spatiotemporal forecasting, curve prediction, and climate modeling. Existing approaches often struggle to capture complex nonlinear relationships and/or provide reliable uncertainty quantification when data are noisy, sparse, or irregularly sampled. To address these challenges, we propose Deep Gaussian Processes for Functional Maps (DGPFM). Our method constructs a sequence of GP-based linear and nonlinear transformations directly in function space, leveraging kernel integral transforms, GP conditional means, and nonlinear activations sampled from Gaussian processes. A key insight enables a simplified and flexible implementation: under fixed evaluation locations, discrete approximations of kernel integral transforms reduce to direct functional integral transforms, allowing seamless integration of diverse transform designs. To support scalable probabilistic inference, we adopt inducing points and whitening transformations within a variational learning framework. Empirical results on both real-world and synthetic benchmark datasets demonstrate the advantages of DGPFM in terms of predictive accuracy and uncertainty calibration.