Neighbor GRPO: Contrastive ODE Policy Optimization Aligns Flow Models
作者: Dailan He, Guanlin Feng, Xingtong Ge, Yazhe Niu, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li
分类: cs.CV, cs.LG, eess.IV
发布日期: 2025-11-21
💡 一句话要点
提出Neighbor GRPO，通过对比学习优化Flow模型，提升生成质量与效率。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: Flow Matching 生成模型 人类偏好对齐 对比学习 策略优化
📋 核心要点
- 现有基于SDE的GRPO方法在Flow模型对齐中存在信用分配效率低和与高阶求解器不兼容的问题。
- Neighbor GRPO通过扰动ODE初始噪声生成候选轨迹，并利用softmax距离的替代策略优化模型，无需SDE。
- 实验表明，Neighbor GRPO在训练成本、收敛速度和生成质量上显著优于SDE方法，提升了生成模型的性能。
📝 摘要（中文）
Group Relative Policy Optimization (GRPO) 在对齐图像和视频生成模型与人类偏好方面显示出潜力。然而，将其应用于现代Flow Matching模型具有挑战性，因为其确定性采样范式。现有方法通过将常微分方程 (ODE) 转换为随机微分方程 (SDE) 来解决此问题，从而引入随机性。但是，这种基于SDE的GRPO存在信用分配效率低下以及与用于更少步数采样的高阶求解器不兼容的问题。本文首先从距离优化的角度重新解释现有的基于SDE的GRPO方法，揭示了它们作为一种对比学习形式的潜在机制。基于此，我们提出Neighbor GRPO，一种完全绕过SDE需求的新型对齐算法。Neighbor GRPO通过扰动ODE的初始噪声条件来生成各种候选轨迹，并使用基于softmax距离的替代跳跃策略来优化模型。我们建立了这种基于距离的目标函数与策略梯度优化之间的理论联系，将我们的方法严格地集成到GRPO框架中。我们的方法完全保留了确定性ODE采样的优势，包括效率和与高阶求解器的兼容性。我们进一步引入对称锚点采样以提高计算效率，并引入分组准范数重加权以解决奖励扁平化问题。大量实验表明，Neighbor GRPO在训练成本、收敛速度和生成质量方面均显着优于基于SDE的同类产品。
🔬 方法详解
问题定义：现有方法在将GRPO应用于Flow Matching模型时，依赖于将ODE转换为SDE引入随机性，导致信用分配效率低下，且与高阶求解器不兼容，限制了采样效率和生成质量。因此，需要一种更高效且与ODE特性兼容的GRPO方法。
核心思路：Neighbor GRPO的核心思路是绕过SDE，直接在ODE的确定性框架下进行优化。通过扰动ODE的初始噪声条件，生成一组邻近的轨迹，并利用这些轨迹之间的距离关系，构建一个对比学习的目标函数。该目标函数鼓励模型生成更符合人类偏好的轨迹，同时保持ODE的确定性和高效性。
技术框架：Neighbor GRPO的整体框架包括以下几个主要步骤：1. 确定性ODE采样：使用Flow Matching模型生成初始轨迹。2. 邻域采样：通过扰动初始噪声条件，生成一组邻近的轨迹。3. 距离计算：计算轨迹之间的距离，例如使用LPIPS距离。4. 策略优化：使用基于softmax距离的替代跳跃策略，优化Flow Matching模型。5. 对称锚点采样：为了提高计算效率，采用对称锚点采样策略。6. 分组准范数重加权：为了解决奖励扁平化问题，采用分组准范数重加权策略。
关键创新：Neighbor GRPO的关键创新在于完全绕过了SDE，直接在ODE的确定性框架下实现了GRPO。这避免了SDE引入的随机性，提高了信用分配的效率，并且与高阶求解器兼容，从而提高了采样效率和生成质量。此外，基于距离的对比学习目标函数，提供了一种新的优化Flow Matching模型的视角。
关键设计：Neighbor GRPO的关键设计包括：1. 基于softmax距离的替代跳跃策略：使用softmax函数将轨迹之间的距离转换为概率，并使用该概率作为策略优化的目标。2. 对称锚点采样：通过选择对称的锚点，减少了需要计算的轨迹数量，提高了计算效率。3. 分组准范数重加权：通过对不同组的奖励进行重加权，解决了奖励扁平化问题，提高了训练的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Neighbor GRPO在多个数据集上显著优于基于SDE的GRPO方法。例如，在图像生成任务中，Neighbor GRPO的FID得分降低了XX%，训练速度提升了YY%。此外，Neighbor GRPO还能够生成更高质量、更符合人类偏好的图像。
🎯 应用场景
Neighbor GRPO可应用于图像、视频等生成模型的对齐，使其更好地符合人类偏好。这在内容创作、艺术设计、虚拟现实等领域具有广泛的应用前景，可以生成更具吸引力、更符合用户需求的内容，提升用户体验。
📄 摘要（原文）
Group Relative Policy Optimization (GRPO) has shown promise in aligning image and video generative models with human preferences. However, applying it to modern flow matching models is challenging because of its deterministic sampling paradigm. Current methods address this issue by converting Ordinary Differential Equations (ODEs) to Stochastic Differential Equations (SDEs), which introduce stochasticity. However, this SDE-based GRPO suffers from issues of inefficient credit assignment and incompatibility with high-order solvers for fewer-step sampling. In this paper, we first reinterpret existing SDE-based GRPO methods from a distance optimization perspective, revealing their underlying mechanism as a form of contrastive learning. Based on this insight, we propose Neighbor GRPO, a novel alignment algorithm that completely bypasses the need for SDEs. Neighbor GRPO generates a diverse set of candidate trajectories by perturbing the initial noise conditions of the ODE and optimizes the model using a softmax distance-based surrogate leaping policy. We establish a theoretical connection between this distance-based objective and policy gradient optimization, rigorously integrating our approach into the GRPO framework. Our method fully preserves the advantages of deterministic ODE sampling, including efficiency and compatibility with high-order solvers. We further introduce symmetric anchor sampling for computational efficiency and group-wise quasi-norm reweighting to address reward flattening. Extensive experiments demonstrate that Neighbor GRPO significantly outperforms SDE-based counterparts in terms of training cost, convergence speed, and generation quality.