Diffusion models recover accurate mixture weights despite score function insensitivity

📄 arXiv: 2607.15485 📥 PDF

作者: Andrew Dennehy, Ramchandran Muthukumar, Rebecca Willett, Nisha Chandramoorthy

分类: cs.LG, math.PR, stat.ML

发布日期: 2026-07-20

💡 一句话要点

提出扩散模型敏感性框架以准确恢复混合权重

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 生成模型 混合权重 分数匹配 敏感性分析 高斯混合 机器学习 多模态生成

📋 核心要点

  1. 现有的基于分数的生成模型在学习目标多模态分布的相对模式幅度方面存在不足，导致混合权重估计不准确。
  2. 论文提出通过扩散分数敏感性指数（DSSI）来分析和解决混合权重估计问题，强调中间噪声水平的分数对权重的影响。
  3. 实验证明，适当的噪声调度可以提高模型对混合权重的恢复能力，DSSI能够有效预测模型的性能。

📝 摘要（中文）

基于分数的生成模型展现出一种令人困惑的行为：它们通常能够覆盖目标多模态分布的所有模式，但可能无法学习正确的相对模式幅度，这可以被解释为混合权重。本文通过将扩散分数匹配（DSM）损失与从生成样本中估计混合权重的误差联系起来，解决了这一悖论。我们表明，即使目标分数对混合权重不敏感，只要中间噪声水平的分数对权重有信息，生成样本仍能准确恢复权重。我们定义了扩散分数敏感性指数（DSSI），并证明DSSI决定了从生成样本中估计目标分布参数的准确性。对于任意维度的高斯混合模型，我们证明在温和条件下混合权重估计误差与DSM损失在同一数量级。实验证明，在典型噪声调度下，基准数据分布的加噪过程中的敏感性会显现，并且这些敏感性值可以预测经过良好训练的模型恢复混合权重的效果。

🔬 方法详解

问题定义：本文旨在解决基于分数的生成模型在学习多模态分布时无法准确估计混合权重的问题。现有方法在处理目标分布的相对模式幅度时表现出敏感性不足，导致生成样本无法有效反映真实的混合权重。

核心思路：论文的核心思路是通过引入扩散分数敏感性指数（DSSI），分析生成样本在不同噪声水平下对混合权重的恢复能力。DSSI的设计使得即使目标分数对混合权重不敏感，仍能通过中间噪声水平的分数获取有用信息。

技术框架：整体框架包括扩散分数匹配（DSM）损失的计算、DSSI的定义与计算，以及通过生成样本估计混合权重的过程。主要模块包括噪声调度、分数计算和权重恢复。

关键创新：最重要的技术创新在于提出了DSSI这一新颖的指标，能够量化DSM损失对混合权重估计的影响。这一创新与现有方法的本质区别在于关注中间噪声水平的分数信息，而不仅仅是最终生成样本的质量。

关键设计：关键设计包括对噪声调度的选择、DSM损失的具体形式，以及如何在不同噪声水平下计算分数。这些设计确保了模型在训练过程中能够有效捕捉到混合权重的变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的DSSI能够有效预测模型在恢复混合权重方面的性能。在高斯混合模型的实验中，混合权重估计误差与DSM损失在同一数量级，验证了理论分析的有效性。此外，通过调整噪声调度，模型的敏感性得到了显著改善，提升了混合权重的恢复能力。

🎯 应用场景

该研究的潜在应用领域包括图像生成、语音合成和自然语言处理等多模态生成任务。通过准确恢复混合权重，模型能够更好地反映真实数据分布，从而提升生成样本的质量和多样性。未来，该方法可能在生成模型的优化和应用中发挥重要作用，推动相关领域的发展。

📄 摘要（原文）

Score-based generative models exhibit a puzzling behavior: they often appear to cover all modes of a target multimodal distribution and yet may fail to learn the correct relative mode amplitudes, which can be interpreted as mixture weights. We resolve this apparent paradox by relating the diffusion score matching (DSM) loss to the error in estimating mixture weights from generated samples. We show that, even when the target score is insensitive to mixture weights, generated samples can recover the weights accurately if the scores at intermediate noise levels are informative about the weights. Accordingly, we define the diffusion score sensitivity index (DSSI) as the variation in the DSM loss relative to changes in a parameter. We then show that the DSSI governs the accuracy with which the parameter of the target distribution can be estimated from generated samples. For Gaussian mixtures in arbitrary dimensions, we prove that the mixture weight estimation errors are on the same order as the DSM loss under mild conditions. Empirically, we show the emergence of sensitivity during the noising process of benchmark data distributions under typical noise schedules, and that these sensitivity values predict how well a well-trained model recovers mixture weights. Furthermore, we show that the choice of noise schedule can reduce diffusion sensitivity, leading to mode amplification. Although we focus on mixture weights, the proposed sensitivity framework governs the recovery of any qualitative parameter of the target distribution.