Scores as Actions: a framework of fine-tuning diffusion models by continuous-time reinforcement learning

📄 arXiv: 2409.08400v1 📥 PDF

作者: Hanyang Zhao, Haoxian Chen, Ji Zhang, David D. Yao, Wenpin Tang

分类: cs.LG, cs.AI

发布日期: 2024-09-12

💡 一句话要点

提出基于连续时间强化学习的扩散模型微调框架，提升生成质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散模型 强化学习 人类反馈 连续时间控制 文本到图像生成

📋 核心要点

  1. 现有方法难以有效利用人类反馈对扩散模型进行微调，以提升生成质量并对齐人类意图。
  2. 将扩散模型的微调问题建模为连续时间随机控制问题，并将score-matching函数视为控制动作。
  3. 开发了基于连续时间强化学习的统一框架，并提供了相应的理论基础，实验结果将在随附论文中展示。

📝 摘要（中文）

本文提出了一种新的扩散模型微调框架，该框架将利用人类反馈对生成模型进行对齐的任务，严谨地建模为一个探索性的连续时间随机控制问题。核心思想是将score-matching函数视为控制/动作，并在此基础上，从连续时间的角度开发了一个统一的框架，从而能够利用强化学习（RL）算法来提高扩散模型的生成质量。此外，本文还针对随机微分方程驱动的环境，开发了相应的连续时间RL理论，用于策略优化和正则化。随附论文将报告在文本到图像（T2I）生成方面的实验结果。

🔬 方法详解

问题定义：论文旨在解决如何更有效地利用人类反馈来微调扩散模型，使其生成的图像或文本等内容更符合人类的偏好和意图。现有的扩散模型微调方法可能存在效率低下、难以探索最优策略等问题，无法充分利用人类反馈的价值。

核心思路：论文的核心思路是将扩散模型的score-matching函数视为强化学习中的控制/动作。通过这种方式，可以将扩散模型的微调问题转化为一个连续时间随机控制问题，从而可以利用强化学习算法来优化扩散模型的生成过程。这样设计的目的是为了能够更有效地探索策略空间，并找到能够最大化人类反馈奖励的生成策略。

技术框架：该框架主要包含以下几个关键模块：1) 扩散模型：作为生成器的基础模型。2) 人类反馈：用于学习奖励函数，指导模型的优化方向。3) 强化学习算法：用于优化策略（即score-matching函数），以最大化累积奖励。4) 连续时间随机控制：将扩散过程建模为连续时间随机过程，便于应用强化学习算法。整体流程是：扩散模型生成样本，人类提供反馈，反馈用于训练奖励函数，强化学习算法利用奖励函数优化score-matching函数，从而改进扩散模型的生成质量。

关键创新：最重要的技术创新点在于将扩散模型的微调问题建模为连续时间随机控制问题，并将score-matching函数视为控制动作。这种建模方式使得可以利用连续时间强化学习的理论和算法来优化扩散模型的生成过程，从而更有效地利用人类反馈。与现有方法的本质区别在于，现有方法通常采用离散的优化步骤，而本文采用连续时间的优化方法，能够更精细地控制扩散过程。

关键设计：论文中关键的设计可能包括：1) 奖励函数的具体形式：如何将人类反馈转化为可量化的奖励信号。2) 强化学习算法的选择：选择合适的强化学习算法来优化score-matching函数。3) 连续时间随机控制的建模细节：如何将扩散过程精确地建模为连续时间随机过程。4) 策略优化和正则化方法：如何保证策略的稳定性和泛化能力。这些细节将在随附论文中详细阐述。

📊 实验亮点

摘要中提到，实验将在文本到图像（T2I）生成方面进行，但具体的性能数据、对比基线和提升幅度需要在随附论文中查看。因此，实验亮点目前未知，需要在阅读随附论文后才能总结。

🎯 应用场景

该研究成果可广泛应用于文本到图像生成、图像编辑、语音合成等领域。通过利用人类反馈，可以使生成模型更好地理解人类意图，生成更符合人类偏好的内容。这在创意设计、内容生成、人机交互等领域具有重要的应用价值和潜力，并可能推动生成式AI技术的发展。

📄 摘要（原文）

Reinforcement Learning from human feedback (RLHF) has been shown a promising direction for aligning generative models with human intent and has also been explored in recent works for alignment of diffusion generative models. In this work, we provide a rigorous treatment by formulating the task of fine-tuning diffusion models, with reward functions learned from human feedback, as an exploratory continuous-time stochastic control problem. Our key idea lies in treating the score-matching functions as controls/actions, and upon this, we develop a unified framework from a continuous-time perspective, to employ reinforcement learning (RL) algorithms in terms of improving the generation quality of diffusion models. We also develop the corresponding continuous-time RL theory for policy optimization and regularization under assumptions of stochastic different equations driven environment. Experiments on the text-to-image (T2I) generation will be reported in the accompanied paper.