Smoother Flow Matching via Contrastive Trajectory Repulsion
作者: Ziqi Jiang, Zhenqi He, Long Chen
分类: cs.CV, cs.LG
发布日期: 2026-10-01
备注: 18 pages, 5 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出CoFlow以解决流匹配中的轨迹交叉问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 流匹配 轨迹交叉 对比学习 随机微分方程 局部Lipschitz常数 计算机视觉 运动预测
📋 核心要点
- 现有流匹配方法在处理轨迹交叉时存在速度平均化的问题，导致性能下降。
- 本文提出CoFlow框架，通过对比学习显式排斥轨迹，降低速度场的局部Lipschitz常数。
- 在ImageNet 256x256上的实验表明，CoFlow在少步推理中显著降低FID，且无额外训练开销。
📝 摘要（中文）
轨迹交叉是流匹配中的一个关键瓶颈，现有方法通常从理论优化的角度处理这些交叉，导致速度平均化。本文提出了一种新的网络学习视角，认为交叉点会在目标速度场中引入大的局部Lipschitz常数，造成高频信号和剧烈速度变化的问题。为此，提出了CoFlow框架，通过对比学习显式地排斥轨迹，从而降低速度场的局部Lipschitz常数。具体而言，CoFlow从随机微分方程的角度出发，注入排斥漂移项，有效引导正样本的前向过程远离负轨迹。实验结果表明，CoFlow在少步推理中显著降低了FID，与标准流匹配相比没有增加训练开销。
🔬 方法详解
问题定义：本文解决流匹配中的轨迹交叉问题，现有方法通过理论优化处理交叉，导致速度场中的高频信号和数值积分误差。
核心思路：提出CoFlow框架，通过对比学习显式排斥轨迹，降低局部Lipschitz常数，从而改善速度场的拟合能力。
技术框架：CoFlow从随机微分方程的视角出发，设计了一个包含排斥漂移项的网络架构，正样本的前向过程被引导远离负样本。
关键创新：CoFlow的核心创新在于引入对比学习机制，显式地控制轨迹间的相互作用，区别于传统的后处理方法。
关键设计：在网络设计中，排斥漂移项的引入是关键，此外，损失函数的设计也考虑了负样本的影响，确保了训练过程的稳定性。
🖼️ 关键图片
📊 实验亮点
在ImageNet 256x256的实验中，CoFlow在少步推理（如20步）中显著降低了FID，相比标准流匹配方法有明显提升，且没有增加额外的训练开销。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的流匹配、运动预测和机器人导航等。通过改善轨迹交叉处理，CoFlow能够提升多种动态系统的性能，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Trajectory crossing remains a critical bottleneck in Flow Matching (FM), and previous works typically view these crossings from a theoretical optimization perspective causing velocity averaging. They attempt to address it indirectly by post-hoc distillation or endpoint coupling, without explicitly regulating the intermediate trajectories. In this paper, we introduce a new network learning perspective: crossing points inherently induce large local Lipschitz constants in the target velocity field, leading to two drawbacks. First, high Lipschitz constants correspond to high-frequency signals in the velocity field that neural networks struggle to fit due to spectral bias. Second, they also imply drastic velocity variations, leading to severe numerical integration errors in few-step inference. To alleviate this, we propose CoFlow, a framework that introduces the contrastive learning paradigm into FM to explicitly repel trajectories during training, thereby lowering the local Lipschitz constants of the velocity field. Specifically, we formulate CoFlow from a Stochastic Differential Equation (SDE) perspective by injecting a repulsive drift term. This drift actively guides the forward process of positive samples away from negative trajectories, effectively reducing the local Lipschitz constant. Furthermore, we derive an equivalent stochastic interpolant formulation from this SDE, providing a simple and tractable design space to control the influence of negative samples. Extensive experiments on ImageNet 256x256 demonstrate that CoFlow significantly reduces FID compared to standard FM in few-step inference (e.g., 20 steps), with no added training overhead. The code can be accessed at: https://github.com/HKUST-LongGroup/CoFlow