DFM: Interpolant-free Dual Flow Matching

📄 arXiv: 2410.09246v1 📥 PDF

作者: Denis Gudovskiy, Tomoyuki Okuno, Yohei Nakata

分类: cs.LG, cs.AI, stat.ML

发布日期: 2024-10-11

备注: Extended Abstract Track at the Unifying Representations in Neural Models Workshop (NeurIPS 2024)

💡 一句话要点

提出无插值的对偶流匹配(DFM)方法，提升无监督异常检测性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 连续归一化流 流匹配 无监督学习 异常检测 对偶学习

📋 核心要点

  1. 连续归一化流CNF训练中求解ODE计算量大，影响效率。
  2. DFM无需插值，直接优化前向和反向向量场，促进双射性。
  3. 在SMAP异常检测任务上，DFM优于传统CNF和FM方法，性能更优。

📝 摘要（中文）

连续归一化流(CNFs)可以通过富有表现力的无限长度架构来建模数据分布。然而，这种建模涉及到在最大似然训练期间求解常微分方程(ODE)的计算密集型过程。最近提出的流匹配(FM)框架允许使用具有插值前向向量场的回归目标来大幅简化训练阶段。在本文中，我们提出了一种无插值的对偶流匹配(DFM)方法，该方法对建模的向量场没有明确的假设。DFM优化了前向和反向向量场模型，使用了一种新颖的目标函数，该目标函数有助于前向和反向变换的双射性。我们在SMAP无监督异常检测上的实验表明，与使用最大似然或FM目标训练的CNF相比，DFM具有优势，并具有最先进的性能指标。

🔬 方法详解

问题定义：连续归一化流（CNFs）在建模复杂数据分布时需要求解常微分方程（ODE），计算成本高昂。传统的流匹配（FM）方法通过引入插值向量场来简化训练，但插值过程可能引入偏差，限制模型的表达能力。因此，如何避免插值，同时保持高效的训练和良好的模型性能，是本文要解决的问题。

核心思路：DFM的核心思想是不依赖于插值，而是直接优化前向和反向向量场。通过同时学习这两个向量场，并设计一个促进前向和反向变换双射性的目标函数，从而保证数据分布转换的可逆性和准确性。这种对偶学习的方式能够更有效地利用数据信息，提高模型的泛化能力。

技术框架：DFM的整体框架包括两个主要部分：前向向量场模型和反向向量场模型。这两个模型通常由神经网络实现。训练过程中，DFM使用一个新颖的损失函数，该损失函数同时考虑了前向和反向向量场的匹配程度，并鼓励前向和反向变换的双射性。具体来说，损失函数可能包含两项：一项衡量前向向量场与真实向量场的差异，另一项衡量反向向量场与真实反向向量场的差异。

关键创新：DFM最关键的创新点在于它是一种无插值的对偶流匹配方法。与传统的FM方法相比，DFM避免了插值带来的偏差，能够更准确地建模数据分布。同时，通过同时优化前向和反向向量场，并鼓励双射性，DFM能够提高模型的稳定性和泛化能力。

关键设计：DFM的关键设计包括损失函数的设计和网络结构的选择。损失函数需要能够有效地衡量前向和反向向量场的匹配程度，并鼓励双射性。一种可能的设计是使用均方误差（MSE）来衡量向量场的匹配程度，并添加一个正则化项来鼓励双射性。网络结构的选择也至关重要，需要选择具有足够表达能力的神经网络来建模复杂的向量场。此外，训练过程中的优化器选择和学习率调整也会影响模型的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，DFM在SMAP无监督异常检测任务上取得了最先进的性能。与使用最大似然或FM目标训练的CNF相比，DFM在性能指标上取得了显著提升。具体的数据提升幅度未知，但论文强调DFM在性能上优于现有方法。

🎯 应用场景

DFM具有广泛的应用前景，尤其是在需要精确建模数据分布的领域。例如，在无监督异常检测中，DFM可以用于学习正常数据的分布，从而有效地检测异常数据。此外，DFM还可以应用于生成模型、图像编辑、时间序列预测等领域，为这些领域提供更强大的建模能力。

📄 摘要（原文）

Continuous normalizing flows (CNFs) can model data distributions with expressive infinite-length architectures. But this modeling involves computationally expensive process of solving an ordinary differential equation (ODE) during maximum likelihood training. Recently proposed flow matching (FM) framework allows to substantially simplify the training phase using a regression objective with the interpolated forward vector field. In this paper, we propose an interpolant-free dual flow matching (DFM) approach without explicit assumptions about the modeled vector field. DFM optimizes the forward and, additionally, a reverse vector field model using a novel objective that facilitates bijectivity of the forward and reverse transformations. Our experiments with the SMAP unsupervised anomaly detection show advantages of DFM when compared to the CNF trained with either maximum likelihood or FM objectives with the state-of-the-art performance metrics.