ReflexFlow: Rethinking Learning Objective for Exposure Bias Alleviation in Flow Matching

📄 arXiv: 2512.04904v1 📥 PDF

作者: Guanbo Huang, Jingjia Mao, Fanding Huang, Fengkai Liu, Xiangyang Luo, Yaoyuan Liang, Jiasheng Lu, Xiaoe Wang, Pei Liu, Ruiliu Fu, Shao-Lun Huang

分类: cs.CV, cs.AI

发布日期: 2025-12-04

💡 一句话要点

ReflexFlow：通过反思式优化学习目标缓解Flow Matching中的暴露偏差

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Flow Matching 暴露偏差 图像生成 反思学习 频率补偿

📋 核心要点

  1. Flow Matching方法受暴露偏差影响，训练与推理存在差异，导致生成质量下降。
  2. ReflexFlow通过反思式优化学习目标，动态纠正暴露偏差，提升模型对有偏差输入的泛化能力。
  3. 实验表明，ReflexFlow在多个数据集上优于现有方法，显著降低了FID，提升了生成质量。

📝 摘要（中文）

尽管Flow Matching方法最近取得了显著进展，但由于训练和推理之间的差异，仍然存在暴露偏差问题。本文研究了Flow Matching中暴露偏差的根本原因，包括：（1）模型在训练期间缺乏对有偏差输入的泛化能力；（2）早期去噪过程中捕获的低频内容不足，导致偏差累积。基于这些见解，我们提出了ReflexFlow，这是一种简单有效的Flow Matching学习目标的反思式改进，可以动态纠正暴露偏差。ReflexFlow由两个组件组成：（1）反漂移校正（ADR），它利用训练时程采样下重新设计的损失函数，反思性地调整有偏差输入的预测目标；（2）频率补偿（FC），它反思缺失的低频分量，并通过使用暴露偏差重新加权损失来补偿它们。ReflexFlow是模型无关的，与所有Flow Matching框架兼容，并提高了跨数据集的生成质量。在CIFAR-10、CelebA-64和ImageNet-256上的实验表明，ReflexFlow在缓解暴露偏差方面优于现有方法，在CelebA-64上实现了35.65%的FID降低。

🔬 方法详解

问题定义：Flow Matching方法在图像生成任务中表现出色，但训练和推理阶段存在差异，导致暴露偏差。具体来说，模型在训练时接触的数据分布与推理时不同，模型对训练中未见过的、有偏差的输入泛化能力不足，从而影响生成质量。此外，早期去噪阶段对低频信息的捕获不足也会导致偏差累积。

核心思路：ReflexFlow的核心思路是通过反思式学习目标来动态纠正暴露偏差。模型在训练过程中“反思”其预测结果，并根据预测的偏差调整学习目标。这种反思机制使得模型能够更好地适应有偏差的输入，并弥补早期去噪阶段缺失的低频信息，从而缓解暴露偏差。

技术框架：ReflexFlow包含两个主要组件：反漂移校正（ADR）和频率补偿（FC）。ADR通过训练时程采样策略，利用重新设计的损失函数，反思性地调整有偏差输入的预测目标。FC则反思缺失的低频分量，并通过使用暴露偏差重新加权损失来补偿它们。这两个组件共同作用，动态纠正暴露偏差。

关键创新：ReflexFlow的关键创新在于其反思式学习目标。与传统的Flow Matching方法不同，ReflexFlow不是简单地最小化预测误差，而是通过反思预测结果来动态调整学习目标。这种反思机制使得模型能够更好地适应有偏差的输入，并弥补早期去噪阶段缺失的低频信息。

关键设计：ADR的关键设计在于训练时程采样策略和重新设计的损失函数。训练时程采样策略控制着模型接触有偏差输入的频率，而重新设计的损失函数则鼓励模型对有偏差输入进行更准确的预测。FC的关键设计在于暴露偏差的估计方法和损失函数的重新加权策略。暴露偏差的估计方法用于衡量模型对低频信息的捕获程度，而损失函数的重新加权策略则用于补偿缺失的低频信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReflexFlow在CIFAR-10、CelebA-64和ImageNet-256等数据集上进行了实验，结果表明其优于现有的Flow Matching方法。特别是在CelebA-64数据集上，ReflexFlow实现了35.65%的FID降低，显著提升了生成图像的质量。这些实验结果验证了ReflexFlow在缓解暴露偏差方面的有效性。

🎯 应用场景

ReflexFlow可应用于各种图像生成任务，例如图像修复、超分辨率和图像编辑。通过缓解Flow Matching中的暴露偏差，ReflexFlow可以提高生成图像的质量和真实感。该方法还可应用于其他生成模型，例如GAN和VAE，以提高其生成性能。未来，该研究或可扩展到视频生成、3D内容生成等领域。

📄 摘要（原文）

Despite tremendous recent progress, Flow Matching methods still suffer from exposure bias due to discrepancies in training and inference. This paper investigates the root causes of exposure bias in Flow Matching, including: (1) the model lacks generalization to biased inputs during training, and (2) insufficient low-frequency content captured during early denoising, leading to accumulated bias. Based on these insights, we propose ReflexFlow, a simple and effective reflexive refinement of the Flow Matching learning objective that dynamically corrects exposure bias. ReflexFlow consists of two components: (1) Anti-Drift Rectification (ADR), which reflexively adjusts prediction targets for biased inputs utilizing a redesigned loss under training-time scheduled sampling; and (2) Frequency Compensation (FC), which reflects on missing low-frequency components and compensates them by reweighting the loss using exposure bias. ReflexFlow is model-agnostic, compatible with all Flow Matching frameworks, and improves generation quality across datasets. Experiments on CIFAR-10, CelebA-64, and ImageNet-256 show that ReflexFlow outperforms prior approaches in mitigating exposure bias, achieving a 35.65% reduction in FID on CelebA-64.