Same Flow, Different Paths: Variance Reduction in Flow Matching

📄 arXiv: 2609.17287v1 📥 PDF

作者: Alexander Tyurin

分类: cs.LG, math.OC

发布日期: 2026-09-15

💡 一句话要点

提出路径选择优化以提高流匹配中的收敛速度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 流匹配 路径选择 随机梯度下降 方差分析 优化算法 生成模型 高斯数据

📋 核心要点

  1. 现有的流匹配方法在路径选择上缺乏优化，导致收敛速度不理想。
  2. 论文提出通过分析路径选择对随机梯度方差的影响，优化流匹配的收敛速度。
  3. 实验结果表明，优化路径选择可以显著提高SGD的收敛速度，验证了理论分析的有效性。

📝 摘要（中文）

在流匹配（FM）中，速度模型$v_θ$通过预定义路径$g_t$连接数据和噪声样本进行训练。本文从优化的角度研究路径选择对随机梯度的方差影响，发现路径$g_t$的选择可以显著改变随机梯度下降（SGD）的收敛速度。我们推导出线性速度模型和一维高斯数据的SGD迭代复杂度的紧致界限，并找到最优路径以最小化该界限。此外，我们将路径选择问题扩展到一般FM问题，并提出了路径选择的方差最小化问题PathOpt$_θ$。最后，通过实验验证了理论结果。

🔬 方法详解

问题定义：本文旨在解决流匹配中路径选择对随机梯度方差的影响，现有方法未能充分考虑路径选择的优化，导致收敛速度较慢。

核心思路：通过分析不同路径对随机梯度的方差影响，提出在保持FM目标不变的情况下优化路径选择，以提高SGD的收敛速度。

技术框架：整体框架包括路径选择的方差分析、最优路径的推导以及路径选择问题的数值求解，主要模块包括路径约束的定义和方差最小化问题的构建。

关键创新：最重要的创新在于提出了路径选择的方差最小化问题PathOpt$_θ$，并证明了路径约束对收敛速度的重要性，这与现有方法的路径选择无关的做法形成了鲜明对比。

关键设计：在技术细节上，设计了适用于线性路径的最优路径推导方法，并提出了可以从样本中估计的约束条件，以便于数值求解。具体的损失函数和参数设置在实验中进行了验证。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，优化路径选择后，SGD的收敛速度显著提高，具体表现为在一维高斯数据上，迭代复杂度降低了对数级别，验证了理论分析的有效性和实用性。

🎯 应用场景

该研究在流匹配和生成模型的优化中具有广泛的应用潜力，尤其是在需要高效训练的场景，如图像生成、数据增强和模拟等领域。优化路径选择不仅能提高模型的训练效率，还能在实际应用中提升生成质量和稳定性。

📄 摘要（原文）

In flow matching (FM), a velocity model $v_θ$ is trained using a predefined path $g_t$ that connects data and noise samples (e.g., $g_t(x_0, x_1) = (1 - t) x_0 + t x_1$). In this work, we study the choice of this path from an optimization perspective by analyzing the variance of stochastic gradients. We consider the class $G(p_t,v^\star_t)$ of paths that induce the same marginal distributions $p_t$ and marginal velocity field $v^\star_t$, and therefore the same FM objective. Our main finding is that the choice of path $g_t$ can fundamentally change the convergence rate of SGD, even when the FM objective remains exactly the same. (i) For a linear velocity model and one-dimensional Gaussian data, we derive a tight bound on the SGD iteration complexity up to logarithmic factors and find an analytically optimal path that minimizes this bound among linear paths inducing the same FM problem. (ii) We then extend the variance analysis to general FM problems and formulate path selection at a fixed $θ$ as the variance-minimization problem PathOpt$_θ$, constrained to $g_t\in G(p_t,v^\star_t)$. We show that this constraint is essential: reducing variance without it can lead to slower convergence. (iii) Since the constraint $g_t \in G(p_t,v^\star_t)$ cannot generally be verified directly, we derive an equivalent formulation with constraints that can be estimated from samples, allowing paths to be found numerically. Our theoretical results are supported by experiments with Gaussian data, Gaussian mixture models, and real datasets.