Isokinetic Flow Matching for Pathwise Straightening of Generative Flows

📄 arXiv: 2604.04491 📥 PDF

作者: Tauhid Khan

分类: cs.LG

发布日期: 2026-04-07

💡 一句话要点

提出Isokinetic Flow Matching，通过动态正则化显著提升生成流的快速采样效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成模型 Flow Matching 动态正则化 少步采样 加速度正则化

📋 核心要点

  1. Flow Matching方法存在轨迹叠加导致的曲率问题，影响少步采样效率，成为快速生成模型的瓶颈。
  2. Iso-FM通过惩罚路径上的加速度，实现动态正则化，无需复杂计算即可保证局部速度一致性。
  3. 实验表明，Iso-FM显著提升了少步生成效果，在CIFAR-10数据集上实现了2.9倍的效率提升。

📝 摘要（中文）

Flow Matching (FM) 构建线性条件概率路径，但学习到的边缘速度场不可避免地由于轨迹叠加而表现出强曲率。这种曲率会严重放大数值截断误差，阻碍少步采样。为了克服这个问题，我们引入了 Isokinetic Flow Matching (Iso-FM)，这是一种轻量级的、无雅可比矩阵的动态正则化器，它直接惩罚路径上的加速度。通过使用物料导数 Dv/Dt 的自引导有限差分近似，Iso-FM 强制执行局部速度一致性，而无需辅助编码器或昂贵的二阶自动微分。作为单阶段 FM 训练的纯即插即用附加组件，Iso-FM 显著提高了少步生成效果。在 CIFAR-10 (DiT-S/2) 上，Iso-FM 将 2 步的条件非 OT FID 从 78.82 降至 27.13，相对效率提高了 2.9 倍，并在 4 步时达到了最佳观测 FID 10.23。这些结果有力地证明了加速度正则化是快速生成采样的有效且计算高效的机制。

🔬 方法详解

问题定义：Flow Matching方法旨在构建生成模型，但由于训练过程中轨迹的叠加，学习到的速度场会呈现出较大的曲率。这种曲率会导致数值积分过程中的截断误差增大，从而限制了少步采样的性能，影响生成速度。现有方法难以在保证生成质量的同时，有效降低采样步数。

核心思路：Iso-FM的核心思路是通过对路径上的加速度进行正则化，来约束速度场的曲率，使其更加平滑。具体来说，Iso-FM惩罚物料导数（material derivative）Dv/Dt，从而鼓励局部速度的一致性。通过降低速度场的曲率，可以减少数值积分过程中的误差累积，从而允许使用更少的采样步骤，提高生成速度。

技术框架：Iso-FM作为一个即插即用的模块，可以添加到现有的单阶段Flow Matching训练流程中。它不需要额外的编码器或复杂的二阶自动微分。训练过程中，除了标准的Flow Matching损失函数外，还增加了一个与加速度相关的正则化项。该正则化项通过有限差分近似计算物料导数，并对其进行惩罚。整体训练流程与标准的Flow Matching方法类似，只是增加了一个额外的正则化项。

关键创新：Iso-FM的关键创新在于提出了一种轻量级的动态正则化方法，可以直接惩罚路径上的加速度，而无需复杂的计算或额外的网络结构。使用自引导有限差分近似物料导数，避免了雅可比矩阵的计算和二阶自动微分，降低了计算成本。这种方法能够有效地降低速度场的曲率，从而提高少步采样的性能。

关键设计：Iso-FM使用有限差分来近似计算物料导数Dv/Dt。具体来说，它使用当前时刻的速度和相邻时刻的速度来估计加速度。正则化项通常采用L2范数，用于惩罚加速度的大小。正则化系数是一个重要的超参数，需要根据具体任务进行调整。网络结构方面，Iso-FM可以与各种Flow Matching模型结合使用，无需修改原有的网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Iso-FM在CIFAR-10数据集上显著提高了少步生成效果。在DiT-S/2模型上，Iso-FM将2步的条件非OT FID从78.82降至27.13，相对效率提高了2.9倍。在4步采样时，Iso-FM达到了最佳观测FID 10.23。这些结果表明，Iso-FM是一种有效的加速生成模型采样的方法。

🎯 应用场景

Iso-FM在图像生成、音频合成等领域具有广泛的应用前景。通过提高生成模型的采样效率，可以加速内容创作流程，降低计算成本。此外，Iso-FM还可以应用于其他需要快速采样的任务，例如强化学习中的策略优化和机器人控制中的轨迹规划。未来，该方法有望在更多生成式人工智能应用中发挥重要作用。

📄 摘要（原文）

Flow Matching (FM) constructs linear conditional probability paths, but the learned marginal velocity field inevitably exhibits strong curvature due to trajectory superposition. This curvature severely inflates numerical truncation errors, bottlenecking few-step sampling. To overcome this, we introduce Isokinetic Flow Matching (Iso-FM), a lightweight, Jacobian-free dynamical regularizer that directly penalizes pathwise acceleration. By using a self-guided finite-difference approximation of the material derivative Dv/Dt, Iso-FM enforces local velocity consistency without requiring auxiliary encoders or expensive second-order autodifferentiation. Operating as a pure plug-and-play addition to single-stage FM training, Iso-FM dramatically improves few-step generation. On CIFAR-10 (DiT-S/2), Iso-FM slashes conditional non-OT FID at 2 steps from 78.82 to 27.13 - a 2.9x relative efficiency gain - and reaches a best-observed FID at 4 steps of 10.23. These results firmly establish acceleration regularization as a principled, compute-efficient mechanism for fast generative sampling.