Nested Slice Sampling: Vectorized Nested Sampling for GPU-Accelerated Inference

📄 arXiv: 2601.23252v1 📥 PDF

作者: David Yallup, Namu Kroupa, Will Handley

分类: stat.CO, cs.LG, stat.ML

发布日期: 2026-01-30

备注: 54 pages, 11 figures

💡 一句话要点

提出Nested Slice Sampling，加速GPU上的嵌套抽样推理，解决复杂多模态目标问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 嵌套抽样 贝叶斯推断 GPU加速 Hit-and-Run Slice Sampling 多模态优化 模型比较 不确定性量化

📋 核心要点

  1. 传统嵌套抽样方法在复杂、多模态目标下进行可扩展推理时面临挑战，其顺序结构和硬约束使其难以在加速器上高效实现。
  2. Nested Slice Sampling (NSS) 采用向量化形式，并使用 Hit-and-Run Slice Sampling 进行约束更新，从而实现 GPU 友好性。
  3. 实验表明，NSS 在困难的多模态问题上表现出强大的鲁棒性，同时保持了准确的证据估计和高质量的后验样本。

📝 摘要（中文）

本文提出了一种名为Nested Slice Sampling (NSS) 的GPU友好的向量化嵌套抽样方法，用于加速模型比较和校准不确定性量化中的参数积分。NSS利用Hit-and-Run Slice Sampling进行约束更新，克服了传统嵌套抽样方法顺序结构和硬约束导致的加速器实现困难。通过调整分析，得到一个简单的近优规则来设置切片宽度，改善了高维行为，并使每步计算对于并行执行更具可预测性。在具有挑战性的合成目标、高维贝叶斯推理和高斯过程超参数边缘化上的实验表明，NSS保持了准确的证据估计和高质量的后验样本，并且在诸如退火SMC基线等现有最先进方法难以处理的困难多模态问题上特别稳健。论文发布了一个开源实现，以方便采用和重现。

🔬 方法详解

问题定义：论文旨在解决复杂、多模态目标分布下的贝叶斯推断问题，特别是模型比较和不确定性量化。传统的嵌套抽样方法由于其固有的顺序性和硬约束，难以在GPU等并行计算架构上高效实现，限制了其在大规模问题中的应用。现有方法，如退火重要性抽样（Tempered SMC），在某些困难的多模态问题上表现不佳。

核心思路：论文的核心思路是将嵌套抽样过程向量化，使其能够充分利用GPU的并行计算能力。通过引入Hit-and-Run Slice Sampling，可以在满足约束条件的同时，高效地探索参数空间。此外，论文还提出了一种简单的近优规则来设置切片宽度，从而改善高维行为并提高计算的可预测性。

技术框架：NSS的整体框架仍然遵循嵌套抽样的基本流程，即通过迭代地缩小约束体积，逐步逼近证据。主要模块包括：1) 初始化：生成初始的活跃点集；2) 迭代更新：每次迭代中，从活跃点集中随机选择一个点，并使用Hit-and-Run Slice Sampling在其约束体积内生成一个新的点，该点具有更高的似然值；3) 终止条件：当约束体积足够小或满足其他收敛条件时，停止迭代；4) 证据估计：根据迭代过程中的似然值和约束体积的变化，估计证据。

关键创新：NSS的关键创新在于：1) 向量化：将嵌套抽样过程向量化，使其能够并行处理多个活跃点，从而充分利用GPU的并行计算能力；2) Hit-and-Run Slice Sampling：使用Hit-and-Run Slice Sampling进行约束更新，避免了传统方法中复杂的采样过程，提高了采样效率；3) 自适应切片宽度：提出了一种简单的近优规则来设置切片宽度，改善了高维行为并提高了计算的可预测性。与现有方法的本质区别在于，NSS能够更好地适应GPU等并行计算架构，从而实现更高效的贝叶斯推断。

关键设计：Hit-and-Run Slice Sampling 的切片宽度是影响算法性能的关键参数。论文通过理论分析和实验验证，提出了一种简单的近优规则来设置切片宽度，即根据活跃点集的统计特性动态调整切片宽度。具体而言，切片宽度与活跃点集的似然值的标准差成正比。这种自适应的切片宽度设置能够更好地平衡探索和利用，从而提高采样效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NSS在具有挑战性的合成目标、高维贝叶斯推理和高斯过程超参数边缘化等任务上表现出色。尤其是在困难的多模态问题上，NSS能够保持准确的证据估计和高质量的后验样本，优于现有的退火SMC基线等方法。通过调整切片宽度，NSS在高维问题上表现出更好的鲁棒性。

🎯 应用场景

Nested Slice Sampling (NSS) 可广泛应用于需要进行贝叶斯推断的领域，如模型比较、不确定性量化、高维参数估计、高斯过程超参数优化等。其GPU加速特性使其特别适用于大规模数据集和复杂模型的场景，例如天文学、生物信息学、金融建模等。NSS的开源实现将促进其在各个领域的应用和进一步研究。

📄 摘要（原文）

Model comparison and calibrated uncertainty quantification often require integrating over parameters, but scalable inference can be challenging for complex, multimodal targets. Nested Sampling is a robust alternative to standard MCMC, yet its typically sequential structure and hard constraints make efficient accelerator implementations difficult. This paper introduces Nested Slice Sampling (NSS), a GPU-friendly, vectorized formulation of Nested Sampling that uses Hit-and-Run Slice Sampling for constrained updates. A tuning analysis yields a simple near-optimal rule for setting the slice width, improving high-dimensional behavior and making per-step compute more predictable for parallel execution. Experiments on challenging synthetic targets, high dimensional Bayesian inference, and Gaussian process hyperparameter marginalization show that NSS maintains accurate evidence estimates and high-quality posterior samples, and is particularly robust on difficult multimodal problems where current state-of-the-art methods such as tempered SMC baselines can struggle. An open-source implementation is released to facilitate adoption and reproducibility.