Preference Alignment with Flow Matching

📄 arXiv: 2405.19806v2 📥 PDF

作者: Minu Kim, Yongsik Lee, Sehyeok Kang, Jihwan Oh, Song Chong, Se-Young Yun

分类: cs.LG

发布日期: 2024-05-30 (更新: 2024-10-28)

备注: 38th Conference on Neural Information Processing Systems (NeurIPS 2024)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Preference Flow Matching，用于高效偏好对齐预训练模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好对齐 强化学习 Flow Matching 预训练模型 黑盒优化

📋 核心要点

  1. 现有基于偏好的强化学习方法依赖于对预训练模型的微调，面临可扩展性差、效率低以及需要修改模型等问题。
  2. PFM利用Flow Matching技术直接从偏好数据中学习，避免了对预训练模型的大量微调，实现了高效的偏好对齐。
  3. 实验结果表明，PFM能够有效地将模型输出与人类偏好对齐，为预训练模型偏好对齐提供了一个新方向。

📝 摘要（中文）

本文提出了一种新的基于偏好的强化学习框架，名为Preference Flow Matching (PFM)，它简化了将偏好集成到任意预训练模型中的过程。现有的基于偏好的强化学习方法需要对预训练模型进行微调，这带来了可扩展性、效率以及模型修改的需求等挑战，特别是对于像GPT-4这样的黑盒API。相比之下，PFM利用Flow Matching技术直接从偏好数据中学习，从而减少了对预训练模型进行大量微调的依赖。通过利用基于流的模型，PFM将不太偏好的数据转换为偏好的结果，并在不依赖显式或隐式奖励函数估计的情况下，有效地将模型输出与人类偏好对齐，从而避免了奖励模型中的常见问题，如过拟合。我们提供了理论见解，支持我们的方法与标准基于偏好的强化学习目标对齐。实验结果表明了我们方法的实际有效性，为将预训练模型与偏好对齐提供了一个新的方向。代码已开源。

🔬 方法详解

问题定义：论文旨在解决如何高效地将人类偏好融入到预训练模型中，尤其是在预训练模型是黑盒API（如GPT-4）的情况下。现有方法主要依赖于微调预训练模型，这不仅计算成本高昂，而且可能导致模型性能下降，甚至无法访问模型内部参数进行修改。因此，如何在不进行大量微调的情况下，使预训练模型更好地符合人类偏好是一个关键问题。

核心思路：PFM的核心思路是利用Flow Matching技术，直接学习从不太偏好的数据到更偏好数据的映射。通过构建一个流模型，将不太符合人类偏好的输出转换为更符合偏好的输出，从而实现偏好对齐。这种方法避免了显式或隐式地估计奖励函数，从而减少了奖励模型过拟合的风险。

技术框架：PFM的整体框架包括以下几个主要步骤：1) 收集偏好数据，即对于同一输入，收集人类对不同输出的偏好排序；2) 构建Flow Matching模型，该模型学习从不太偏好的输出到更偏好输出的映射；3) 利用Flow Matching模型调整预训练模型的输出，使其更符合人类偏好。该框架不需要对预训练模型进行大量微调，可以直接应用于黑盒API。

关键创新：PFM最重要的技术创新点在于使用Flow Matching技术进行偏好对齐，避免了对预训练模型的微调和奖励函数的估计。与现有方法相比，PFM更加高效、可扩展，并且可以应用于黑盒API。此外，PFM还提供了理论分析，证明了该方法与标准的基于偏好的强化学习目标是一致的。

关键设计：PFM的关键设计包括：1) Flow Matching模型的选择，可以使用各种流模型，如Continuous Normalizing Flows (CNF)；2) 损失函数的设计，用于训练Flow Matching模型，目标是最小化不太偏好的输出与更偏好输出之间的距离；3) 如何将Flow Matching模型集成到预训练模型中，可以通过调整预训练模型的输出，或者通过后处理的方式，将Flow Matching模型应用于预训练模型的输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PFM能够有效地将模型输出与人类偏好对齐，并且在多个任务上取得了显著的性能提升。与传统的微调方法相比，PFM在保持模型性能的同时，大大降低了计算成本。此外，PFM还成功应用于GPT-4等黑盒API，证明了其在实际应用中的可行性和有效性。

🎯 应用场景

PFM具有广泛的应用前景，例如可以用于对齐大型语言模型，使其生成更符合人类价值观和偏好的文本；可以用于机器人控制，使机器人能够更好地理解人类指令并执行任务；还可以应用于推荐系统，提高推荐结果的个性化程度和用户满意度。该研究的实际价值在于提供了一种高效、可扩展的偏好对齐方法，有望推动人工智能技术在各个领域的应用。

📄 摘要（原文）

We present Preference Flow Matching (PFM), a new framework for preference-based reinforcement learning (PbRL) that streamlines the integration of preferences into an arbitrary class of pre-trained models. Existing PbRL methods require fine-tuning pre-trained models, which presents challenges such as scalability, inefficiency, and the need for model modifications, especially with black-box APIs like GPT-4. In contrast, PFM utilizes flow matching techniques to directly learn from preference data, thereby reducing the dependency on extensive fine-tuning of pre-trained models. By leveraging flow-based models, PFM transforms less preferred data into preferred outcomes, and effectively aligns model outputs with human preferences without relying on explicit or implicit reward function estimation, thus avoiding common issues like overfitting in reward models. We provide theoretical insights that support our method's alignment with standard PbRL objectives. Experimental results indicate the practical effectiveness of our method, offering a new direction in aligning a pre-trained model to preference. Our code is available at https://github.com/jadehaus/preference-flow-matching.