When, why, and how do diffusion posterior samplers fail? A finite-sample lens

📄 arXiv: 2605.30330v1 📥 PDF

作者: Benjamin A. Burns, Sara Fridovich-Keil

分类: cs.LG

发布日期: 2026-05-28

备注: All code for experiments is available at: https://github.com/voilalab/diagnosing-posterior-sampling

💡 一句话要点

通过有限样本视角分析扩散后验采样器失效的原因与机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 后验采样 逆问题 有限样本 似然近似 图像重建 模型诊断

📋 核心要点

  1. 现有扩散后验采样方法依赖于似然近似，其对最终后验分布的影响缺乏深入理解，可能导致采样失败。
  2. 论文提出一种基于有限样本的后验采样视角，通过分析训练集大小趋于无穷大时的后验近似行为来诊断问题。
  3. 研究发现，不准确的后验 spread 估计是导致采样失败的关键因素，并可能引起对停止时间的敏感性和模式幻觉。

📝 摘要（中文）

扩散模型在建模复杂自然数据分布方面表现出色，使其成为图像逆问题中后验采样的热门选择。现有方法可以在推理时结合任何测量模型，但为了计算可行性，必须在中间时间步使用不精确的似然近似。尽管这些近似在经验上通常效果良好，但它们对采样后验的下游影响知之甚少，并可能导致无法解释的失败。为了理解这些似然近似何时、为何以及如何传播到错误的后验分布，我们引入了一种有限样本的后验采样视角，该视角将后验近似到任意精度，因为训练集大小趋于无穷大，适用于任何前向模型和先验分布。通过这种有限样本视角，我们观察到流行的后验采样近似倾向于低估或高估中间时间步的后验分布的 spread，从而导致下游后果，包括对提前停止时间的敏感性、后验模式的不准确相对加权以及幻觉，包括后验中不存在的先验模式和先验不支持的似然模式。此外，我们发现这些后验误差的原因既不需要非线性测量模型，也不需要多模态后验，而可能仅仅是由于多模态先验和中间采样时间的不准确后验 spread 造成的。我们的有限样本后验采样方法与似然近似的类型以及（线性或非线性）前向模型的类型无关，因此可以作为一种即插即用的诊断工具，用于评估现有和未来后验采样器的准确性和失效模式。

🔬 方法详解

问题定义：论文旨在解决扩散模型后验采样中，由于似然近似引入的误差导致采样失败的问题。现有方法缺乏对这些近似误差如何影响最终后验分布的理解，导致无法解释的采样失败现象，例如对停止时间的敏感性和模式幻觉。

核心思路：论文的核心思路是引入一种基于有限样本的后验采样视角。通过分析当训练集大小趋于无穷大时，后验分布的近似行为，可以更精确地诊断和理解似然近似误差的来源和影响。这种方法允许研究者在理论上分析后验采样过程，而无需依赖于特定的似然近似或前向模型。

技术框架：该方法的核心在于构建一个有限样本框架，用于近似后验分布。该框架不依赖于特定的扩散模型或似然近似方法，而是通过分析训练集大小对后验分布的影响来评估采样器的性能。具体流程包括：1) 定义前向模型和先验分布；2) 使用有限样本近似后验分布；3) 分析后验分布的 spread 和模式；4) 诊断似然近似误差对后验分布的影响。

关键创新：该论文最重要的技术创新在于提出了一种与具体模型无关的后验采样诊断框架。与以往侧重于改进似然近似的方法不同，该框架提供了一种通用的分析工具，可以用于评估任何后验采样器的准确性和失效模式。这种方法能够揭示似然近似误差的根本原因，并为设计更鲁棒的后验采样器提供指导。

关键设计：该框架的关键设计在于使用有限样本理论来近似后验分布。通过分析训练集大小对后验分布的影响，可以更精确地评估似然近似误差。此外，该框架还提供了一种诊断工具，用于分析后验分布的 spread 和模式，从而识别导致采样失败的关键因素。具体的参数设置和损失函数取决于所使用的扩散模型和似然近似方法，但该框架本身是通用的，可以适应不同的设置。

📊 实验亮点

研究表明，流行的后验采样近似倾向于低估或高估中间时间步的后验分布的 spread，导致对提前停止时间的敏感性、后验模式的不准确相对加权以及幻觉。即使在非线性测量模型和多模态后验不存在的情况下，多模态先验和不准确的后验 spread 估计也可能导致采样失败。

🎯 应用场景

该研究成果可应用于图像重建、医学影像、科学计算等领域，提升逆问题求解的精度和可靠性。通过诊断现有后验采样器的不足，可以指导开发更有效的采样算法，减少伪影和幻觉，提高图像质量，并为相关领域的决策提供更可靠的依据。

📄 摘要（原文）

Diffusion models have excellent capacity to model complex distributions of natural data, which has made them a popular and effective choice for posterior sampling in imaging inverse problems. Existing methods can incorporate any measurement model at inference time but must use an inexact approximation for the likelihood at intermediate timesteps for computational tractability. Although these approximations can often work well empirically, their downstream effect on the sampled posterior is poorly understood and can result in unexplained failures. To understand when, why, and how these likelihood approximations propagate to erroneous posterior distributions, we introduce a finite-sample perspective on posterior sampling that approximates the posterior to arbitrary precision as training set size tends towards infinity, for any forward model and prior distribution. Using this finite-sample lens, we observe that popular posterior sampling approximations tend to under- or over-estimate the spread of the posterior at intermediate timesteps, causing downstream consequences including sensitivity to early stopping time, inaccurate relative weighting of posterior modes, and hallucination, both of prior modes that are not in the posterior and likelihood modes that are not supported by the prior. Moreover, we find that the cause of these posterior errors requires neither a nonlinear measurement model nor a multimodal posterior, but can arise solely due to a multimodal prior and inaccurate posterior spread at intermediate sampling times. Our finite-sample posterior sampling approach is agnostic to the type of likelihood approximation and the type of (linear or nonlinear) forward model, and can thus serve as a drop-in diagnostic to evaluate the accuracy and failure modes of existing and future posterior samplers.