Are We Really Learning the Score Function? Reinterpreting Diffusion Models Through Wasserstein Gradient Flow Matching

📄 arXiv: 2509.00336v1 📥 PDF

作者: An B. Vuong, Michael T. McCann, Javier E. Santos, Yen Ting Lin

分类: cs.LG

发布日期: 2025-08-30

💡 一句话要点

提出Wasserstein梯度流匹配以重新理解扩散模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散模型 得分函数 Wasserstein梯度流 生成模型 神经网络 理论研究 密度传输

📋 核心要点

  1. 现有扩散模型通常假设学习得分函数，但实际神经网络架构未能强制实现保守向量场的要求。
  2. 论文提出将扩散训练视为与Wasserstein梯度流的速度场匹配，而非传统的得分学习，从而解决了理论上的矛盾。
  3. 实验结果表明，尽管学习到的向量场并非保守，模型仍能有效生成样本，验证了WGF视角的有效性。

📝 摘要（中文）

扩散模型通常被解释为学习得分函数，即噪声数据的对数密度的梯度。然而，这一假设暗示学习目标是一个保守向量场，而实际使用的神经网络架构并未强制执行这一点。我们提供数值证据表明，训练后的扩散网络违反了真实得分函数所需的积分和微分约束，表明学习到的向量场并非保守。尽管如此，这些模型在生成机制上表现出色。为了解释这一明显的悖论，我们提出了一种新的理论视角：扩散训练更应理解为与Wasserstein梯度流的速度场匹配，而非反向随机微分方程的得分学习。在这一视角下，“概率流”自然源于WGF框架，消除了调用反向时间SDE理论的必要性，并阐明了为何即使神经向量场不是一个真实得分，生成采样仍然成功。我们进一步展示，神经近似中的非保守误差并不一定会损害密度传输。我们的结果倡导采用WGF视角，作为理解扩散生成模型的原则性、优雅且理论基础扎实的框架。

🔬 方法详解

问题定义：论文要解决的问题是现有扩散模型在学习得分函数时未能满足保守向量场的要求，导致生成效果与理论不符。

核心思路：论文的核心思路是将扩散训练重新解释为与Wasserstein梯度流的速度场进行匹配，这样可以更好地理解生成过程的本质。

技术框架：整体架构包括扩散模型的训练过程，主要模块包括数据噪声处理、速度场匹配和生成样本的过程。

关键创新：最重要的技术创新在于提出WGF视角，强调概率流的自然产生，避免了传统得分学习的限制。

关键设计：在网络结构上，采用了适应性损失函数来优化速度场匹配，确保生成过程的稳定性和有效性。具体参数设置和网络架构细节在实验部分进行了详细说明。

📊 实验亮点

实验结果显示，尽管学习到的向量场并非保守，模型在生成样本的质量上仍然保持高水平，验证了WGF视角的有效性。与传统方法相比，生成样本的多样性和真实感显著提升，具体性能数据将在论文中详细列出。

🎯 应用场景

该研究的潜在应用领域包括图像生成、语音合成和其他需要生成模型的任务。通过提供更深刻的理论基础，未来的扩散模型可以在生成质量和效率上实现更大的提升，推动相关领域的发展。

📄 摘要（原文）

Diffusion models are commonly interpreted as learning the score function, i.e., the gradient of the log-density of noisy data. However, this assumption implies that the target of learning is a conservative vector field, which is not enforced by the neural network architectures used in practice. We present numerical evidence that trained diffusion networks violate both integral and differential constraints required of true score functions, demonstrating that the learned vector fields are not conservative. Despite this, the models perform remarkably well as generative mechanisms. To explain this apparent paradox, we advocate a new theoretical perspective: diffusion training is better understood as flow matching to the velocity field of a Wasserstein Gradient Flow (WGF), rather than as score learning for a reverse-time stochastic differential equation. Under this view, the "probability flow" arises naturally from the WGF framework, eliminating the need to invoke reverse-time SDE theory and clarifying why generative sampling remains successful even when the neural vector field is not a true score. We further show that non-conservative errors from neural approximation do not necessarily harm density transport. Our results advocate for adopting the WGF perspective as a principled, elegant, and theoretically grounded framework for understanding diffusion generative models.