Optimal and Diffusion Transports in Machine Learning

📄 arXiv: 2512.06797v1 📥 PDF

作者: Gabriel Peyré

分类: math.OC, cs.AI, cs.LG, stat.ML

发布日期: 2025-12-07

备注: Proc. 2026 International Congress of Mathematicians

💡 一句话要点

统一框架分析机器学习中的概率分布演化，涵盖扩散模型与最优传输

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 最优传输 概率分布演化 拉格朗日视角 生成式AI

📋 核心要点

  1. 现有机器学习方法在处理时间演化概率分布问题时，缺乏统一的理论框架，难以在不同任务间迁移。
  2. 论文核心思想是将概率密度演化从欧拉视角转换为拉格朗日视角，利用矢量场描述粒子运动，从而实现对密度演化的控制。
  3. 论文综述了扩散模型和最优传输两种方法，并展示了它们在采样、神经网络优化和Transformer建模等领域的应用。

📝 摘要（中文）

许多机器学习问题可以自然地表达为时间演化的概率分布的设计与分析。这包括通过扩散方法进行采样，优化神经网络的权重，以及分析大型语言模型中token分布在各层之间的演变。虽然目标应用不同（样本、权重、token），但它们的数学描述具有共同的结构。一个关键思想是从密度的欧拉表示切换到通过平流粒子的矢量场的拉格朗日对应表示。这种对偶视角带来了挑战，特别是拉格朗日矢量场的非唯一性，但也带来了机会，可以构建在规律性、稳定性和计算易处理性方面具有良好属性的密度演化和流动。本综述概述了这些方法，重点介绍了两种互补的方法：扩散方法，它依赖于随机插值过程，是现代生成式AI的基础；以及最优传输，它通过最小化位移成本来定义插值。我们展示了这两种方法如何出现在从采样、神经网络优化到对大型语言模型的transformer动态建模等应用中。

🔬 方法详解

问题定义：论文旨在解决机器学习中一类共性问题，即概率分布随时间的演化。现有方法通常针对特定任务设计，缺乏通用性和理论基础，例如在生成模型中，如何有效地从噪声分布生成目标分布；在神经网络优化中，如何理解和控制权重参数的演化过程；以及在大型语言模型中，如何建模token分布在不同层之间的动态变化。这些问题看似不同，但本质上都涉及概率分布的演化过程，需要一个统一的框架进行分析和解决。

核心思路：论文的核心思路是将概率密度演化问题从欧拉视角转换到拉格朗日视角。在欧拉视角下，我们关注的是固定位置处密度的变化；而在拉格朗日视角下，我们关注的是粒子的运动轨迹。通过引入矢量场来描述粒子的运动，可以将密度演化问题转化为矢量场的设计问题。这种转换的优势在于，可以更方便地控制密度演化的过程，例如通过设计具有特定性质的矢量场，可以保证密度演化的规律性、稳定性和计算效率。

技术框架：论文的技术框架主要围绕扩散模型和最优传输展开。扩散模型通过随机微分方程描述概率分布的演化过程，而最优传输则通过最小化位移成本来定义概率分布之间的插值。这两种方法都可以看作是拉格朗日视角的具体实现，它们都依赖于矢量场的概念来描述粒子的运动。论文将这两种方法放在一个统一的框架下进行分析，并探讨了它们之间的联系和区别。

关键创新：论文的关键创新在于将扩散模型和最优传输放在一个统一的框架下进行分析，并强调了拉格朗日视角在概率密度演化问题中的重要性。这种统一的视角有助于我们更好地理解不同机器学习任务之间的联系，并为设计更通用的算法提供理论基础。此外，论文还强调了矢量场在控制密度演化过程中的作用，为设计具有特定性质的密度演化过程提供了思路。

关键设计：论文主要是一个综述，没有提出新的算法或模型。但是，论文强调了在设计扩散模型和最优传输算法时需要考虑的关键因素，例如矢量场的选择、位移成本的定义等。这些因素直接影响到算法的性能和计算效率。此外，论文还探讨了如何将这些方法应用于不同的机器学习任务，例如采样、神经网络优化和Transformer建模，并提出了相应的技术细节。

📊 实验亮点

该论文是一篇综述性文章，主要贡献在于对扩散模型和最优传输在机器学习中的应用进行了统一的理论分析和框架构建，并阐述了其在采样、神经网络优化和Transformer建模等多个领域的应用。论文没有提供具体的实验数据，但其理论框架为后续研究提供了重要的指导意义。

🎯 应用场景

该研究成果对生成式AI、神经网络优化和自然语言处理等领域具有广泛的应用前景。通过理解和控制概率分布的演化过程，可以设计更高效的生成模型、优化算法和语言模型，从而提升相关任务的性能和效率。此外，该研究还有助于我们更好地理解机器学习模型的内部机制，为开发更可靠和可解释的AI系统奠定基础。

📄 摘要（原文）

Several problems in machine learning are naturally expressed as the design and analysis of time-evolving probability distributions. This includes sampling via diffusion methods, optimizing the weights of neural networks, and analyzing the evolution of token distributions across layers of large language models. While the targeted applications differ (samples, weights, tokens), their mathematical descriptions share a common structure. A key idea is to switch from the Eulerian representation of densities to their Lagrangian counterpart through vector fields that advect particles. This dual view introduces challenges, notably the non-uniqueness of Lagrangian vector fields, but also opportunities to craft density evolutions and flows with favorable properties in terms of regularity, stability, and computational tractability. This survey presents an overview of these methods, with emphasis on two complementary approaches: diffusion methods, which rely on stochastic interpolation processes and underpin modern generative AI, and optimal transport, which defines interpolation by minimizing displacement cost. We illustrate how both approaches appear in applications ranging from sampling, neural network optimization, to modeling the dynamics of transformers for large language models.