DiffusionRVGE: Reinforcement Learning via Regression-Based Value Gradient Estimation

📄 arXiv: 2610.22973v1 📥 PDF

作者: Jiayuan Wang, Tongyao Pang

分类: cs.AI

发布日期: 2026-10-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出DiffusionRVGE以提高扩散模型的强化学习效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 扩散模型 回归方法 计算效率 图像生成 奖励机制

📋 核心要点

  1. 现有的强化学习方法在扩散模型训练中面临高昂的计算成本，主要由于重复的去噪和梯度估计。
  2. DiffusionRVGE通过回归中心化奖励来构建更新方向，避免了对奖励导数的需求，从而提高了训练效率。
  3. 在五个奖励的联合训练中，DiffusionRVGE在多个指标上与DiffusionNFT相匹配或超越，训练计算成本仅为其五分之一。

📝 摘要（中文）

强化学习通过对生成图像的奖励来改进扩散模型，但重复的去噪和梯度估计使得训练成本高昂。本文提出了DiffusionRVGE，一种高效的方法，通过对中心化的最终去噪图像进行中心化奖励的回归来构建有用的更新方向。该方法不需要奖励导数或通过采样轨迹的伴随反向传播。统一的第一变分公式识别了有无轨迹KL惩罚的值梯度目标。高斯噪声下的人群分析解释了回归几何，而子空间分析则激励了干净图像坐标的使用。通过适应回滚带宽和查询权重来处理奖励的连续性，实验结果显示该方法在多个指标上超越了DiffusionNFT。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在扩散模型训练中因重复去噪和梯度估计导致的高昂计算成本问题。现有方法通常需要计算奖励的导数，增加了训练的复杂性和时间消耗。

核心思路：DiffusionRVGE的核心思路是通过对最终去噪图像的中心化奖励进行回归，构建有效的更新方向。这种设计避免了对奖励导数的依赖，从而简化了训练过程。

技术框架：该方法的整体架构包括两个主要模块：首先是通过回归获得的更新方向，其次是基于奖励的回滚带宽和查询权重的调整。统一的第一变分公式用于识别值梯度目标。

关键创新：DiffusionRVGE的关键创新在于其不需要奖励导数或伴随反向传播的设计，使得训练过程更加高效。这一创新与现有方法的本质区别在于其简化了计算流程。

关键设计：在实现中，DiffusionRVGE根据奖励的连续性调整回滚带宽和查询权重，局部回滚适合平滑奖励，而更广泛的组则为离散奖励提供了信息对比。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DiffusionRVGE在五个奖励的联合训练中，达到了GenEval $0.94$、OCR $0.92$和PickScore $23.82$，在计算成本上仅为DiffusionNFT的五分之一。此外，在单一奖励训练中，DiffusionRVGE的训练速度比DiffusionNFT快$2.1$至$6.7$倍。

🎯 应用场景

该研究的潜在应用领域包括图像生成、计算机视觉和机器人等领域，能够有效提升扩散模型在实际应用中的训练效率和生成质量。未来，DiffusionRVGE可能会推动更多高效的强化学习方法在其他生成模型中的应用。

📄 摘要（原文）

Reinforcement learning improves diffusion models using rewards on generated images, but repeated denoising and gradient estimation make training expensive. We introduce \method, an efficient method that constructs useful update directions by regressing centered rewards on centered final denoised images. It requires neither reward derivatives nor adjoint backpropagation through the sampling trajectory. A unified first-variation formulation identifies the value-gradient target with or without a trajectory-KL penalty. A population analysis under Gaussian noising explains the regression geometry, while a subspace analysis motivates clean-image coordinates. The implementation adapts rollout bandwidth and query weights to reward continuity: local rollouts suit smooth rewards, whereas broader groups provide informative contrasts for discrete rewards. Trained jointly on five rewards, one SD3.5-Medium model matches or exceeds DiffusionNFT's joint model on seven of eight metrics, reaching GenEval $0.94$, OCR $0.92$, and PickScore $23.82$ at about one fifth of its estimated training compute. In single-reward training, \method reaches matched reward thresholds $2.1$--$6.7\times$ faster than reproduced DiffusionNFT on identical hardware. Ablations support the clean-image estimator, direct direction transfer, and reward-dependent rollout choices. Code is available at https://github.com/jy-wang-tsinghua/DIFFUSIONRVGE.