Scalable Logistic Gaussian Process Density Regression with Kinetic Langevin Sampling
作者: Daniel Paulin, Ádám Jung, András A. Benczúr
分类: stat.ML, cs.LG
发布日期: 2026-10-07
备注: 27 pages, 3 figures
💡 一句话要点
提出可扩展的逻辑高斯过程密度回归以解决条件密度估计问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 条件密度估计 逻辑高斯过程 贝叶斯估计 动量朗之万采样 大规模数据处理 光度红移 非平稳核
📋 核心要点
- 现有的条件密度估计方法在处理大规模数据时面临计算复杂性和效率低下的问题。
- 本文提出了一种基于逻辑高斯过程的贝叶斯估计器，利用可分离的协方差结构和动量朗之万采样来提高效率。
- 在光度红移基准测试中，该方法在390万训练样本上表现出与最先进模型相当的密度和校准性能。
📝 摘要（中文）
条件密度估计旨在根据协变量获取响应的完整分布，例如用于每个星系的光度红移。本文开发了一种基于逻辑高斯过程的可扩展贝叶斯估计器。该模型的对数条件密度具有可分离的协方差结构，采用Matérn核沿响应方向，并在圆上以截断傅里叶基表示，同时使用Nyström特征表示协变量核，以适应具有输入依赖幅度和长度尺度的非平稳核。我们通过模拟动量朗之万动力学在Kronecker白化坐标中进行采样，避免了拉普拉斯或变分近似。实验表明，该估计器在高达390万训练样本的光度红移基准测试中，表现出与最先进的表格基础模型在密度和校准指标上的竞争力。
🔬 方法详解
问题定义：本文旨在解决条件密度估计中的计算复杂性问题，尤其是在大规模数据集上，现有方法往往效率低下且难以扩展。
核心思路：提出了一种基于逻辑高斯过程的贝叶斯估计器，采用可分离的协方差结构，结合动量朗之万采样方法，以提高模型的可扩展性和计算效率。
技术框架：整体架构包括两个主要模块：首先是基于Matérn核的响应协方差建模，其次是使用Nyström特征处理协变量核。通过动量朗之万动力学进行采样，确保后验分布的有效性。
关键创新：最重要的创新在于将可分离的协方差结构与动量朗之万采样相结合，克服了传统方法在大规模数据处理中的局限性，尤其是在后验分布的采样效率上。
关键设计：模型的超参数设置确保了后验分布的强对数凹性，Hessian矩阵均匀有界。通过控制采样步长和运行长度，保证了边际似然梯度的偏差可控。
🖼️ 关键图片
📊 实验亮点
在光度红移基准测试中，所提出的估计器在高达390万训练样本的情况下，表现出与最先进的表格基础模型相当的密度和校准指标，显示出显著的性能竞争力。
🎯 应用场景
该研究的潜在应用领域包括天文学中的光度红移估计、金融数据分析以及其他需要高效条件密度估计的领域。其可扩展性和高效性使其在处理大规模数据时具有实际价值，未来可能推动相关领域的研究进展。
📄 摘要（原文）
Conditional density estimation targets the full distribution of a response given covariates, as required, for example, for per-galaxy photometric redshifts. We develop a scalable Bayesian estimator based on the logistic Gaussian process. The log conditional density has a separable covariance: a Matérn kernel along the response, represented in a truncated Fourier basis on a circle, and a covariate kernel represented by Nyström features, which accommodate non-stationary kernels with input-dependent amplitudes and length scales. Instead of a Laplace or variational approximation, we sample the latent field of this finite-feature model. Given the hyperparameters, its posterior is strongly log-concave with a uniformly bounded Hessian, and we draw from it by simulating kinetic Langevin dynamics with symmetric minibatch splitting in Kronecker-whitened coordinates. Marginal-likelihood gradients follow from Fisher's identity as posterior expectations. Under the conditions of our analysis their bias is controlled by the sampler's step size and run length, and the predictive averages over the non-Gaussian latent posterior instead of a Gaussian around its mode. On photometric-redshift benchmarks with up to 3.9 million training observations, trained on a single GPU, the estimator is competitive with state-of-the-art tabular foundation models on density and calibration metrics.