FlowCPO: A Unified Divergence View of Preference Alignment for Flow Models

📄 arXiv: 2609.09905v1 📥 PDF

作者: Yansen Han, Shengyi Liao, Peng Sun, Deyuan Liu, Yuanxing Zhang, Pengfei Wan, Tao Lin

分类: stat.ML, cs.AI, cs.CV, cs.LG

发布日期: 2026-09-09

💡 一句话要点

提出FlowCPO以统一流模型的偏好对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 流模型 偏好对齐 离线优化 强化学习 对比损失

📋 核心要点

  1. 现有的偏好对齐方法在样本需求和优化策略上存在不足，导致效果不理想。
  2. 本文提出FlowCPO，通过离线前向KL目标，结合偏好和不偏好的样本，优化流模型的偏好对齐。
  3. 实验结果显示，FlowCPO在同域设置下的GenEval和OCR得分显著高于FlowDPO，展现出更好的性能。

📝 摘要（中文）

流和扩散模型的偏好对齐方法目前涵盖了在线强化学习和离线偏好优化，但这些方法之间的关系仍不明确。现有的前向过程对齐方法需要当前模型的新样本，而基于固定偏好对的离线方法主要依赖于仅正样本的微调或DPO风格的似然比替代品。本文通过基于散度的框架组织这些方法，并引入FlowCPO，这是一种离线前向KL目标，利用偏好和不偏好的样本，而无需在线回滚。我们在明确的正则条件下证明，前向KL目标被对比流匹配损失所界定，从而在固定数据上产生可处理的替代品。实验表明，FlowCPO在同域设置下的GenEval和OCR得分高于评估的基线。

🔬 方法详解

问题定义：本文旨在解决流模型偏好对齐中的样本依赖性和优化效率问题。现有方法在处理固定偏好对时，往往依赖于正样本微调，导致性能受限。

核心思路：FlowCPO通过引入离线前向KL目标，利用偏好和不偏好的样本进行优化，避免了在线回滚的需求，从而提高了效率和效果。

技术框架：FlowCPO的整体架构包括样本收集、偏好对齐优化和损失计算三个主要模块。首先收集偏好和不偏好的样本，然后通过前向KL目标进行优化，最后计算损失以指导模型更新。

关键创新：FlowCPO的核心创新在于其离线前向KL目标的设计，能够在不依赖在线样本的情况下，利用固定数据进行有效的偏好对齐。这与现有方法的依赖新样本的策略形成鲜明对比。

关键设计：在损失函数设计上，FlowCPO采用了对比流匹配损失，确保了损失的非负性，并避免了简化FlowDPO可能出现的无界回归损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FlowCPO在同域设置下的GenEval得分达到0.84，OCR得分达到0.87，均高于FlowDPO的0.81和0.74，显示出显著的性能提升。在异域设置下，尽管GenEval结果最佳，但在多个指标上与RFT相比，奖励得分较低。

🎯 应用场景

该研究的潜在应用领域包括推荐系统、个性化内容生成和人机交互等。通过优化流模型的偏好对齐，FlowCPO能够提升用户体验和满意度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Preference alignment for flow and diffusion models now spans online reinforcement learning and offline preference optimization, but the relation between these methods remains unclear. In particular, existing forward-process alignment methods require fresh samples from the current model, while offline methods based on fixed preference pairs rely primarily on positive-only fine-tuning or DPO-style likelihood-ratio surrogates. We organize these approaches through a divergence-based framework and introduce FlowCPO, an offline forward-KL objective that uses both preferred and dispreferred samples without online rollouts. For linear interpolation, we show under explicit regularity conditions that the forward-KL objective is bounded by a contrastive flow matching loss, yielding a tractable surrogate on fixed data. We further show that this loss is nonnegative, whereas the signed regression loss of simplified FlowDPO can be unbounded below. In the in-domain setting, FlowCPO achieves higher mean GenEval and OCR scores than the evaluated baselines, reaching 0.84 and 0.87 versus 0.81 and 0.74 for FlowDPO at CFG 3.0. In the out-of-domain setting, the results are mixed, with the best GenEval result but lower reward scores than RFT on several metrics.