Smart-GRPO: Smartly Sampling Noise for Efficient RL of Flow-Matching Models

📄 arXiv: 2510.02654v1 📥 PDF

作者: Benjamin Yu, Jackie Liu, Justin Cui

分类: cs.CV

发布日期: 2025-10-03

💡 一句话要点

Smart-GRPO：优化噪声采样，提升Flow-Matching模型强化学习效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Flow-Matching模型 强化学习 噪声优化 图像生成 文本到图像生成

📋 核心要点

  1. Flow-Matching模型的确定性使其难以直接应用强化学习进行优化，限制了图像质量和人类对齐的提升。
  2. Smart-GRPO通过迭代搜索和优化噪声扰动，引导噪声分布向更高奖励区域移动，从而实现更有效的强化学习。
  3. 实验结果表明，Smart-GRPO在奖励优化和视觉质量方面均优于现有方法，为Flow-Matching模型的强化学习提供了新思路。

📝 摘要（中文）

近年来，Flow-Matching模型在高质量文本到图像生成方面取得了显著进展。然而，Flow-Matching模型的确定性特性使其不太适合强化学习，而强化学习是提高图像质量和人类对齐的关键工具。先前的工作通过用随机噪声扰动潜在变量来引入随机性，但这种扰动效率低下且不稳定。我们提出了Smart-GRPO，这是第一个优化Flow-Matching模型中强化学习噪声扰动的方法。Smart-GRPO采用迭代搜索策略，解码候选扰动，使用奖励函数评估它们，并将噪声分布细化到更高奖励的区域。实验表明，与基线方法相比，Smart-GRPO提高了奖励优化和视觉质量。我们的结果表明，在Flow-Matching框架中，强化学习是一条可行的途径，弥合了高效训练和人类对齐生成之间的差距。

🔬 方法详解

问题定义：Flow-Matching模型在图像生成领域表现出色，但其确定性特性使其难以直接应用强化学习进行优化，而强化学习对于提升图像质量和与人类偏好对齐至关重要。现有方法通过添加随机噪声来引入随机性，但这种方式效率低下，容易导致训练不稳定，难以有效探索高奖励区域。

核心思路：Smart-GRPO的核心思路是优化噪声的采样策略，使其能够更有效地探索高奖励区域。通过学习一个噪声分布，该分布能够生成更有利于强化学习的扰动，从而提高训练效率和最终性能。这种方法旨在克服随机噪声扰动的低效性和不稳定性。

技术框架：Smart-GRPO采用迭代搜索策略。首先，从当前的噪声分布中采样候选扰动。然后，将这些扰动应用于Flow-Matching模型，生成相应的图像。接下来，使用奖励函数评估这些图像的质量。最后，根据奖励值更新噪声分布，使其向更高奖励的区域移动。这个过程不断迭代，直到噪声分布收敛到最优状态。

关键创新：Smart-GRPO的关键创新在于它不是简单地添加随机噪声，而是学习一个噪声分布，并优化这个分布以最大化强化学习的奖励。这种方法能够更有效地探索状态空间，并找到更有利于提高图像质量的扰动。与现有方法相比，Smart-GRPO能够更有效地利用强化学习的反馈信号。

关键设计：Smart-GRPO的关键设计包括：1) 使用参数化的噪声分布（例如高斯分布）来表示噪声；2) 使用奖励函数来评估生成图像的质量；3) 使用优化算法（例如梯度下降）来更新噪声分布的参数。奖励函数的设计至关重要，需要能够准确反映图像的质量和与人类偏好的对齐程度。噪声分布的参数化形式和优化算法的选择也会影响最终的性能。

📊 实验亮点

实验结果表明，Smart-GRPO在奖励优化和视觉质量方面均优于基线方法。具体来说，Smart-GRPO能够更快地收敛到更高的奖励值，并且生成的图像具有更高的视觉质量。与随机噪声扰动相比，Smart-GRPO能够更有效地探索状态空间，并找到更有利于提高图像质量的扰动。

🎯 应用场景

Smart-GRPO具有广泛的应用前景，可用于改进各种基于Flow-Matching模型的图像生成任务，例如文本到图像生成、图像修复和图像编辑。通过优化噪声采样策略，可以提高生成图像的质量和与人类偏好的对齐程度。该方法还可以应用于其他生成模型，为强化学习在生成模型中的应用开辟了新的途径。

📄 摘要（原文）

Recent advancements in flow-matching have enabled high-quality text-to-image generation. However, the deterministic nature of flow-matching models makes them poorly suited for reinforcement learning, a key tool for improving image quality and human alignment. Prior work has introduced stochasticity by perturbing latents with random noise, but such perturbations are inefficient and unstable. We propose Smart-GRPO, the first method to optimize noise perturbations for reinforcement learning in flow-matching models. Smart-GRPO employs an iterative search strategy that decodes candidate perturbations, evaluates them with a reward function, and refines the noise distribution toward higher-reward regions. Experiments demonstrate that Smart-GRPO improves both reward optimization and visual quality compared to baseline methods. Our results suggest a practical path toward reinforcement learning in flow-matching frameworks, bridging the gap between efficient training and human-aligned generation.