Flow Matching with Arbitrary Auxiliary Paths

📄 arXiv: 2605.06364v1 📥 PDF

作者: Xin Peng, Ang Gao

分类: cs.LG, cs.AI

发布日期: 2026-05-07

💡 一句话要点

提出AuxPath-FM，通过任意辅助路径扩展Flow Matching生成模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成模型 Flow Matching 辅助变量 概率路径 条件生成

📋 核心要点

  1. 现有Flow Matching方法依赖于高斯噪声等特定辅助变量，限制了生成路径的灵活性。
  2. AuxPath-FM允许使用任意分布的辅助变量，扩展了概率路径的设计空间，提升模型表达能力。
  3. 该框架支持多种先验分布，并可用于标签引导生成等特定任务，具有广泛的应用潜力。

📝 摘要（中文）

本文提出了一种新的生成建模框架，即具有任意辅助路径的Flow Matching (AuxPath-FM)。该框架通过将从任意分布中提取的辅助变量纳入概率路径，从而推广了条件Flow Matching。与将辅助分量限制为高斯噪声的现有方法不同，AuxPath-FM允许变量η遵循任何分布，从而产生$X_t = a(t)X_1 + b(t)X_0 + c(t)η$形式的轨迹。我们在理论上证明了这种构造保留了连续性方程，并保持了与边缘公式一致的训练目标。这种灵活性使得可以使用各种先验（包括高斯、均匀、拉普拉斯和离散Rademacher分布）来设计不同的概率路径，每种先验都为生成流提供独特的几何属性。此外，我们的框架允许通过将结构化语义信息编码到辅助分布中来实现诸如标签引导生成之类的专门任务。总而言之，AuxPath-FM为概率路径设计提供了一个有原则且通用的基础，为各种生成建模任务提供了理论上的通用性和实践上的灵活性。

🔬 方法详解

问题定义：现有的条件Flow Matching方法通常将辅助变量限制为高斯噪声，这限制了概率路径的灵活性和多样性。这意味着生成模型的潜在表达能力受到约束，无法充分利用其他类型的先验信息或结构化语义信息。因此，如何设计更灵活的概率路径，以提升生成模型的性能和适用性，是一个重要的研究问题。

核心思路：AuxPath-FM的核心思路是通过引入一个从任意分布中采样的辅助变量η，来扩展条件Flow Matching的概率路径。具体而言，它将概率路径定义为$X_t = a(t)X_1 + b(t)X_0 + c(t)η$，其中a(t)、b(t)和c(t)是关于时间t的函数。通过选择不同的辅助变量分布和函数a(t)、b(t)和c(t)，可以设计出各种各样的概率路径，从而提升生成模型的灵活性和表达能力。

技术框架：AuxPath-FM的整体框架包括以下几个主要步骤：1) 定义辅助变量η的分布；2) 选择函数a(t)、b(t)和c(t)；3) 根据概率路径$X_t = a(t)X_1 + b(t)X_0 + c(t)η$生成数据；4) 使用Flow Matching的目标函数训练模型。该框架的关键在于如何选择合适的辅助变量分布和函数，以实现特定的生成目标。

关键创新：AuxPath-FM最重要的技术创新点在于它允许使用任意分布的辅助变量，从而极大地扩展了概率路径的设计空间。与现有方法相比，AuxPath-FM不再局限于高斯噪声等特定类型的辅助变量，而是可以根据具体的应用场景和生成目标，选择最合适的辅助变量分布。这种灵活性使得AuxPath-FM能够更好地捕捉数据的复杂结构和语义信息，从而提升生成模型的性能。

关键设计：AuxPath-FM的关键设计包括以下几个方面：1) 辅助变量分布的选择：可以选择高斯、均匀、拉普拉斯、离散Rademacher等多种分布，以适应不同的数据特征；2) 函数a(t)、b(t)和c(t)的设计：这些函数决定了概率路径的形状，需要根据具体的生成目标进行调整；3) 损失函数的设计：AuxPath-FM使用与边缘公式一致的训练目标，以保证模型的收敛性和生成质量；4) 网络结构的设计：可以使用各种神经网络结构来拟合Flow Matching中的向量场，例如U-Net等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AuxPath-FM的优势在于其理论上的通用性和实践上的灵活性。通过使用不同的辅助变量分布，可以设计出各种各样的概率路径，从而提升生成模型的性能。例如，在标签引导生成任务中，AuxPath-FM可以通过将标签信息编码到辅助分布中，生成具有特定属性的图像。具体的性能数据和对比基线将在后续实验中给出。

🎯 应用场景

AuxPath-FM可应用于图像生成、音频合成、文本生成等多个领域。其灵活性使其能够适应各种数据类型和生成目标，例如，通过将标签信息编码到辅助分布中，可以实现标签引导的图像生成。此外，AuxPath-FM还可以用于数据增强、异常检测等任务，具有广泛的应用前景。

📄 摘要（原文）

We introduce a new generative modeling framework, \textbf{Flow Matching with Arbitrary Auxiliary Paths (AuxPath-FM)}, which generalizes conditional flow matching by incorporating an auxiliary variable drawn from an arbitrary distribution into the probability path. Unlike prior methods that restrict auxiliary components to Gaussian noise, AuxPath-FM allows the variable $η$ to follow any distribution, producing trajectories of the form $X_t = a(t)X_1 + b(t)X_0 + c(t)η$. We theoretically demonstrate that this construction preserves the continuity equation and maintains a training objective consistent with the marginal formulation. This flexibility enables the design of diverse probability paths using various priors, including Gaussian, Uniform, Laplace, and discrete Rademacher distributions, each offering unique geometric properties for generative flows. Furthermore, our framework allows for specialized tasks such as label-guided generation by encoding structured semantic information into the auxiliary distribution. Overall, AuxPath-FM provides a principled and general foundation for probability path design, offering both theoretical generality and practical flexibility for diverse generative modeling tasks.