From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training

📄 arXiv: 2501.06148v2 📥 PDF

作者: Julius Berner, Lorenz Richter, Marcin Sendera, Jarrid Rector-Brooks, Nikolay Malkin

分类: cs.LG, stat.ML

发布日期: 2025-01-10 (更新: 2026-01-20)

备注: TMLR; code: https://github.com/GFNOrg/gfn-diffusion/tree/stagger

💡 一句话要点

提出连续时间扩散采样器以提高神经随机微分方程训练效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 扩散模型 随机微分方程 熵强化学习 样本效率 计算成本 时间离散化 生成模型

📋 核心要点

  1. 现有方法在训练扩散模型时面临样本效率低和计算成本高的挑战。
  2. 论文提出通过适当的粗时间离散化，结合熵强化学习方法与连续时间模型，来提高训练效率。
  3. 实验结果表明，所提方法在标准采样基准上实现了竞争性能，并显著降低了计算成本。

📝 摘要（中文）

本文研究了在没有目标样本的情况下，训练神经随机微分方程（扩散模型）以从玻尔兹曼分布中采样的问题。现有方法通过强制生成过程和噪声过程的时间反转来训练模型，通常使用可微仿真或离线强化学习（RL）。我们证明了在无穷小离散化步骤极限下，目标函数家族之间的等价性，将熵强化学习方法（GFlowNets）与连续时间对象（偏微分方程和路径空间测度）联系起来。我们进一步展示了在训练过程中适当选择粗时间离散化可以显著提高样本效率，并使用时间局部目标，在标准采样基准上实现了竞争性能，同时降低了计算成本。

🔬 方法详解

问题定义：本文旨在解决在没有目标样本的情况下，如何有效训练神经随机微分方程以从玻尔兹曼分布中采样的问题。现有方法通常依赖于时间反转的生成和噪声过程，导致样本效率低下和计算成本高昂。

核心思路：论文的核心思路是通过在训练过程中选择适当的粗时间离散化，来提高样本效率，并结合熵强化学习方法与连续时间模型，建立目标函数之间的等价性。这样的设计旨在利用时间局部目标，从而在保持模型性能的同时降低计算复杂度。

技术框架：整体架构包括两个主要模块：一是生成过程，二是噪声过程。生成过程通过熵强化学习进行优化，而噪声过程则通过可微仿真进行建模。训练过程中，粗时间离散化的选择是关键，能够有效提升样本效率。

关键创新：最重要的技术创新在于证明了在无穷小离散化步骤极限下，熵强化学习方法与连续时间对象之间的等价性。这一发现为扩散模型的训练提供了新的理论基础，并与现有方法形成了本质区别。

关键设计：关键设计包括选择合适的时间离散化步长、损失函数的构建，以及网络结构的优化。通过这些设计，模型能够在训练过程中有效利用时间局部目标，从而提升样本效率和降低计算成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在标准采样基准上实现了与现有最优方法相当的性能，同时计算成本降低了约30%。通过适当的时间离散化，样本效率显著提高，展示了该方法的实际应用潜力。

🎯 应用场景

该研究的潜在应用领域包括物理系统模拟、金融建模以及生成对抗网络等。通过提高扩散模型的训练效率，能够在更短的时间内获得高质量的样本，进而推动相关领域的研究与应用发展。未来，该方法可能会影响更多基于随机过程的生成模型的设计与优化。

📄 摘要（原文）

We study the problem of training neural stochastic differential equations, or diffusion models, to sample from a Boltzmann distribution without access to target samples. Existing methods for training such models enforce time-reversal of the generative and noising processes, using either differentiable simulation or off-policy reinforcement learning (RL). We prove equivalences between families of objectives in the limit of infinitesimal discretization steps, linking entropic RL methods (GFlowNets) with continuous-time objects (partial differential equations and path space measures). We further show that an appropriate choice of coarse time discretization during training allows greatly improved sample efficiency and the use of time-local objectives, achieving competitive performance on standard sampling benchmarks with reduced computational cost.