Wasserstein Gradient Flows and Forward-Only Diffusion Are Not Enough for Multimodal Sampling

📄 arXiv: 2610.02081v1 📥 PDF

作者: Daniel McBride, Pratik Khandagale, Cristina Garcia-Cardona, Yen Ting Lin

分类: stat.ML, cs.LG, math-ph, math.DS, math.PR, math.SP

发布日期: 2026-10-01

备注: 20 pages, 5 figures, accepted by NeurIPS 2026 Position Track

💡 一句话要点

揭示WGF和FODP在多模态采样中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Wasserstein梯度流 单向扩散 多模态采样 亚稳态 慢混合 统计物理 谱分析 平均首次到达时间

📋 核心要点

  1. 现有的WGF和FODP方法在处理复杂多模态分布时存在慢混合和亚稳态的问题，导致采样效率低下。
  2. 论文通过引入JKO方案和Otto微积分，分析了WGF和FODP的密度演化，揭示了其在多模态采样中的局限性。
  3. 研究表明，良好分离的多模态会导致指数级长的混合时间，且引入中间分布无法消除这一现象，提示未来需开发非局部机制。

📝 摘要（中文）

近年来，基于Wasserstein梯度流（WGF）和单向扩散过程（FODP）的采样算法迅速发展，并声称能快速收敛到目标分布。然而，本文指出这种解读存在根本性误导。通过引入Jordan-Kinderlehrer-Otto（JKO）方案和Otto微积分，研究表明WGF和FODP的密度演化相同，继承了在非平衡统计物理中长期理解的亚稳态和慢混合现象。分析结果显示，良好分离的多模态会导致与小谱隙和稀有的模式间转移相关的指数级长混合时间，进而揭示了WGF和FODP在标准形式下的根本局限性。

🔬 方法详解

问题定义：本文旨在解决现有WGF和FODP方法在多模态分布采样中的效率低下问题，特别是慢混合和亚稳态现象导致的长混合时间。

核心思路：通过引入JKO方案和Otto微积分，分析WGF和FODP的密度演化，揭示其在多模态采样中的根本局限性，强调需要非局部机制以提高采样效率。

技术框架：研究采用谱分析和平均首次到达时间（MFPT）分析两种互补工具，系统分析WGF和FODP的采样动态，探讨其在多模态情况下的表现。

关键创新：论文的主要创新在于揭示了WGF和FODP在处理良好分离的多模态时的指数级长混合时间，指出其结构性限制，而非实现上的问题。

关键设计：研究中采用了常见的对数线性退火调度，并分析了引入中间分布对总传输时间的影响，结果显示无法消除指数级的传输时间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，良好分离的多模态会导致指数级长的混合时间，且在对数线性退火调度下，引入中间分布并未改善总传输时间。这一发现强调了WGF和FODP在多模态采样中的根本局限性。

🎯 应用场景

该研究对多模态分布的采样方法提出了重要的理论见解，可能影响机器学习、统计物理和优化等领域的算法设计。未来的研究可以基于此理论开发新的非局部采样机制，以提高多模态分布的采样效率，具有广泛的应用潜力。

📄 摘要（原文）

There has been a proliferation of sampling algorithms based on Wasserstein gradient flows (WGF) and forward-only diffusion processes (FODP), often accompanied by theoretical guarantees of exponentially fast convergence to the target distribution. These guarantees are frequently interpreted as evidence that such methods can efficiently sample complex multimodal distributions, often supported by empirical results. In this work, we argue that this interpretation is fundamentally misleading. By invoking the Jordan-Kinderlehrer-Otto (JKO) scheme and Otto calculus, we establish that the canonical WGF sampling dynamics and overdamped forward diffusion share the same density evolution and therefore inherit the same metastability and slow-mixing phenomena long understood in nonequilibrium statistical physics. We analyze this family of samplers using two complementary tools -- spectral analysis and mean first-passage time (MFPT) analysis -- and show that well-separated multimodality can induce exponentially long mixing times associated with small spectral gaps and rare inter-mode transitions. For the commonly adopted log-linear annealing schedule studied here, we find that introducing intermediate distributions does not remove the exponential scaling of the total transport time. The limitation is structural rather than implementation-specific: purely local, gradient-driven transport mechanisms can require exponentially long times to transport probability mass across well-separated modes. We argue that this represents a fundamental limitation of WGF- and FODP-based sampling in their standard forms, and motivates future development of fundamentally nonlocal mechanisms for efficient multimodal sampling.