Connections between reinforcement learning with feedback,test-time scaling, and diffusion guidance: An anthology

📄 arXiv: 2509.04372v1 📥 PDF

作者: Yuchen Jiao, Yuxin Chen, Gen Li

分类: stat.ML, cs.GL, cs.LG, math.ST

发布日期: 2025-09-04

💡 一句话要点

揭示强化学习、测试时缩放与扩散引导的内在联系，提出重采样对齐方法。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 扩散模型 测试时缩放 重采样 反馈学习

📋 核心要点

  1. 现有后训练技术之间缺乏系统性的联系，阻碍了算法的理解和改进。
  2. 论文核心在于揭示强化学习、测试时缩放和扩散引导之间的内在联系和等价性。
  3. 提出一种重采样方法，用于对齐和奖励导向扩散模型，无需显式强化学习。

📝 摘要（中文）

本文探讨了多种常用后训练技术之间的内在联系。我们阐明了带人类反馈的强化学习、带内部反馈的强化学习和测试时缩放（特别是软最佳N选1采样）之间的紧密联系和等价性，同时也揭示了扩散引导和测试时缩放之间的内在联系。此外，我们还引入了一种用于对齐和奖励导向扩散模型的重采样方法，避免了对显式强化学习技术的需求。

🔬 方法详解

问题定义：现有方法在后训练阶段，如利用人类反馈进行强化学习、测试时缩放以及扩散模型引导等，通常被视为独立的优化策略。然而，这些方法之间可能存在内在的联系和等价性，理解这些联系有助于更好地设计和改进算法。论文旨在揭示这些方法之间的联系，并提出一种新的对齐方法，以简化奖励导向扩散模型的训练。

核心思路：论文的核心思路是发现不同后训练技术之间的数学等价性，并利用这些等价性来设计新的算法。具体来说，论文将带反馈的强化学习、测试时缩放和扩散引导联系起来，表明它们在某种程度上可以相互转化。此外，论文还提出了一种重采样方法，该方法通过直接操纵数据分布来实现对齐，从而避免了显式强化学习的需要。

技术框架：论文主要通过理论分析和算法设计来建立不同方法之间的联系。首先，论文分析了带反馈的强化学习、测试时缩放和扩散引导的数学形式，揭示了它们之间的等价性。然后，论文基于这些等价性，提出了一种重采样方法，用于对齐和奖励导向扩散模型。该方法通过对数据进行重采样，使得模型能够更好地拟合奖励函数，从而实现更好的生成效果。

关键创新：论文的关键创新在于揭示了不同后训练技术之间的内在联系，并提出了一种新的重采样方法。与传统的强化学习方法相比，该重采样方法不需要显式地训练一个奖励模型，而是通过直接操纵数据分布来实现对齐，从而简化了训练过程。

关键设计：重采样方法的关键在于如何选择重采样的权重。论文提出了一种基于奖励函数的权重选择策略，该策略根据数据样本的奖励值来确定其重采样的概率。具体来说，奖励值越高的样本，其重采样的概率越高。此外，论文还考虑了样本的多样性，避免过度采样高奖励值的样本，从而保证了生成结果的多样性。

📊 实验亮点

论文提出了一种新的重采样方法，该方法可以有效地对齐和奖励导向扩散模型，无需显式强化学习。实验结果表明，该方法可以生成高质量的图像和文本，并且在某些情况下优于传统的强化学习方法。具体的性能数据和对比基线在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于图像生成、文本生成等领域，尤其是在需要人工反馈或奖励引导的场景下。例如，可以利用该方法训练生成对抗网络，使其能够生成更符合人类偏好的图像或文本。此外，该方法还可以用于机器人控制，使其能够更好地完成任务。

📄 摘要（原文）

In this note, we reflect on several fundamental connections among widely used post-training techniques. We clarify some intimate connections and equivalences between reinforcement learning with human feedback, reinforcement learning with internal feedback, and test-time scaling (particularly soft best-of-$N$ sampling), while also illuminating intrinsic links between diffusion guidance and test-time scaling. Additionally, we introduce a resampling approach for alignment and reward-directed diffusion models, sidestepping the need for explicit reinforcement learning techniques.