The Amazing Stability of Flow Matching

📄 arXiv: 2604.16079v1 📥 PDF

作者: Rania Briq, Michael Kamp, Ohad Fried, Sarel Cohen, Stefan Kesselheim

分类: cs.CV

发布日期: 2026-04-17

备注: EurIPS 2025 Workshop on Principles of Generative Modeling (PriGM)

💡 一句话要点

Flow Matching模型展现惊人的稳定性，对数据和架构扰动不敏感

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Flow Matching 生成模型 稳定性 数据剪枝 架构扰动

📋 核心要点

  1. 深度生成模型依赖于特定架构和大数据集，但其稳定性受架构和数据影响程度未知。
  2. 论文研究发现Flow Matching模型对数据剪枝、架构变化和训练配置具有惊人的稳定性。
  3. 实验表明，即使剪枝50%的数据，Flow Matching模型仍能保持生成样本的质量和多样性。

📝 摘要（中文）

深度生成模型在生成高质量和多样性样本方面的成功通常归因于特定的架构和大型训练数据集。本文研究了这些因素对Flow Matching模型生成样本质量和多样性的影响。令人惊讶的是，在CelebA-HQ数据集上的实验表明，即使剪枝50%的数据集，Flow Matching仍然保持稳定，即生成样本的质量和多样性得以保留。此外，剪枝对潜在表示的影响很小，对于给定的种子，在完整数据集和剪枝数据集上训练的模型生成的样本映射到视觉上相似的输出。当改变架构或训练配置时，我们也观察到类似的稳定性，潜在表示在这些变化下也能保持。我们的结果量化了这种稳定性在实践中的强度，并有助于解释Flow Matching模型在各种扰动下的可靠性。

🔬 方法详解

问题定义：现有的深度生成模型，特别是基于Flow的模型，通常被认为其性能高度依赖于特定的网络架构和大规模的训练数据集。当数据集规模减小或网络架构发生变化时，模型的性能可能会显著下降。因此，如何保证Flow-based生成模型在数据或架构发生扰动时的稳定性是一个重要的问题。

核心思路：本文的核心思路是通过实验分析Flow Matching模型在不同程度的数据剪枝、架构变化和训练配置下的表现，从而揭示其内在的稳定性。作者假设Flow Matching模型具有一定的鲁棒性，能够抵抗这些扰动，并保持生成样本的质量和多样性。

技术框架：本文主要通过实验来验证Flow Matching模型的稳定性。实验流程包括：1) 在CelebA-HQ数据集上训练Flow Matching模型；2) 对数据集进行不同程度的剪枝；3) 在剪枝后的数据集上重新训练Flow Matching模型；4) 比较在完整数据集和剪枝数据集上训练的模型生成的样本的质量和多样性；5) 改变模型的架构和训练配置，重复上述步骤。

关键创新：本文最重要的创新点在于发现了Flow Matching模型对数据剪枝、架构变化和训练配置具有惊人的稳定性。这一发现挑战了以往对深度生成模型的认知，即其性能高度依赖于特定的网络架构和大规模的训练数据集。

关键设计：实验中，作者使用了CelebA-HQ数据集，并采用了标准的Flow Matching模型架构。为了评估生成样本的质量和多样性，作者使用了常用的指标，例如FID（Fréchet Inception Distance）。在数据剪枝方面，作者采用了随机剪枝策略，即随机移除数据集中的一部分样本。在架构变化方面，作者尝试了不同的网络层数和神经元数量。在训练配置方面，作者调整了学习率和batch size等参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使剪枝50%的CelebA-HQ数据集，Flow Matching模型仍然能够生成高质量和多样性的样本，其FID指标与在完整数据集上训练的模型相近。此外，改变模型的架构和训练配置对生成样本的质量和多样性影响也很小。这些结果表明Flow Matching模型具有很强的稳定性。

🎯 应用场景

该研究成果可应用于对数据量有限或计算资源受限的场景，例如移动端图像生成、低资源语言的文本生成等。Flow Matching模型的稳定性使其在这些场景下更具优势，能够生成高质量和多样性的样本。此外，该研究也为深度生成模型的设计提供了新的思路，即在追求性能的同时，也应关注模型的鲁棒性和稳定性。

📄 摘要（原文）

The success of deep generative models in generating high-quality and diverse samples is often attributed to particular architectures and large training datasets. In this paper, we investigate the impact of these factors on the quality and diversity of samples generated by \emph{flow-matching} models. Surprisingly, in our experiments on CelebA-HQ dataset, flow matching remains stable even when pruning 50\% of the dataset. That is, the quality and diversity of generated samples are preserved. Moreover, pruning impacts the latent representation only slightly, that is, samples generated by models trained on the full and pruned dataset map to visually similar outputs for a given seed. We observe similar stability when changing the architecture or training configuration, such that the latent representation is maintained under these changes as well. Our results quantify just how strong this stability can be in practice, and help explain the reliability of flow-matching models under various perturbations.