On the continuity of flows
作者: Congzhou M Sha
分类: cs.LG, cs.AI, physics.data-an
发布日期: 2025-12-14
备注: 9 pages, 2 figures
💡 一句话要点
研究表明Flow Matching在拓扑不匹配分布间可能产生速度场不连续性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Flow Matching 连续归一化流 生成模型 拓扑不匹配 速度场不连续性
📋 核心要点
- Flow Matching在生成建模中表现出色，但当先验和目标分布拓扑结构不匹配时，可能导致速度场不连续，影响模型性能。
- 论文提出，拓扑不匹配迫使连续流分叉，导致粒子在中间时刻做出离散路由决策，从而产生速度场的不连续性。
- 通过理论分析和实验验证，论文揭示了最优速度场沿决策边界存在跳跃不连续性，并探讨了其对流形上Flow Matching的影响。
📝 摘要（中文）
Flow Matching是一种通过连续归一化流进行生成建模的强大框架。本文研究了一个潜在的拓扑约束：当先验分布和目标分布具有不匹配的拓扑结构（例如，单峰到多峰）时，标准Flow Matching目标下的最优速度场可能表现出空间不连续性。我们认为这种不连续性源于连续流必须分叉才能将单模映射到多模，迫使粒子在中间时刻做出离散的路由决策。通过对双峰高斯混合模型的理论分析，我们证明了最优速度场沿决策边界表现出跳跃不连续性，并且幅度随着时间接近目标分布而趋于无穷大。我们的分析表明，这种现象并非特定于$L^2$损失，而可能是分布之间拓扑不匹配的结果。我们通过实验验证了我们的理论，并讨论了Flow Matching在流形上的潜在影响，将我们的发现与最近关于黎曼Flow Matching的工作以及神经网络中学习不连续表示的挑战联系起来。
🔬 方法详解
问题定义：Flow Matching旨在学习一个连续的向量场，将一个简单的先验分布（如高斯分布）转换为复杂的目标分布。然而，当先验分布和目标分布的拓扑结构不匹配时，例如从单峰分布转换到多峰分布，现有的Flow Matching方法可能会遇到困难。现有的方法通常假设速度场是连续的，但这种假设在拓扑不匹配的情况下可能不成立，导致训练不稳定或生成质量下降。
核心思路：论文的核心思路是，当需要将一个单峰分布映射到多峰分布时，连续流必须在某个时刻发生分叉。这种分叉过程迫使粒子在中间时刻做出离散的路由决策，从而导致速度场的不连续性。论文认为，这种不连续性是拓扑不匹配的必然结果，而不仅仅是优化算法或损失函数的选择问题。
技术框架：论文主要通过理论分析来研究速度场的不连续性。具体来说，论文考虑了一个简单的双峰高斯混合模型，并推导了在该模型下最优速度场的解析表达式。通过分析该表达式，论文证明了最优速度场沿决策边界存在跳跃不连续性，并且幅度随着时间接近目标分布而趋于无穷大。此外，论文还通过实验验证了理论分析的结果。
关键创新：论文最重要的技术创新点在于揭示了Flow Matching在拓扑不匹配分布之间进行转换时，速度场可能存在不连续性。这一发现挑战了现有Flow Matching方法中关于速度场连续性的假设，并为未来的研究提供了新的方向。
关键设计：论文的关键设计在于选择了一个简单的双峰高斯混合模型作为研究对象。该模型足够简单，可以进行理论分析，同时又能够体现拓扑不匹配的现象。此外，论文还仔细推导了最优速度场的解析表达式，并分析了其不连续性的性质。
🖼️ 关键图片
📊 实验亮点
论文通过理论分析和实验验证，证明了在双峰高斯混合模型中，最优速度场沿决策边界存在跳跃不连续性，并且幅度随着时间接近目标分布而趋于无穷大。这一结果表明，速度场的不连续性是拓扑不匹配的必然结果，而非特定于$L^2$损失。
🎯 应用场景
该研究成果对生成建模领域具有重要意义，尤其是在处理具有复杂拓扑结构的数据时。例如，在分子生成、图像生成等领域，数据分布往往具有复杂的拓扑结构。理解Flow Matching在这些场景下的局限性，有助于设计更有效的生成模型。此外，该研究还可能对神经网络中学习不连续表示提供新的思路。
📄 摘要（原文）
Flow matching has emerged as a powerful framework for generative modeling through continuous normalizing flows. We investigate a potential topological constraint: when the prior distribution and target distribution have mismatched topology (e.g., unimodal to multimodal), the optimal velocity field under standard flow matching objectives may exhibit spatial discontinuities. We suggest that this discontinuity arises from the requirement that continuous flows must bifurcate to map a single mode to multiple modes, forcing particles to make discrete routing decisions at intermediate times. Through theoretical analysis on bimodal Gaussian mixtures, we demonstrate that the optimal velocity field exhibits jump discontinuities along decision boundaries, with magnitude approaching infinity as time approaches the target distribution. Our analysis suggests that this phenomenon is not specific to $L^2$ loss, but rather may be a consequence of topological mismatch between distributions. We validate our theory empirically and discuss potential implications for flow matching on manifolds, connecting our findings to recent work on Riemannian flow matching and the challenge of learning discontinuous representations in neural networks.