GDPO: Learning to Directly Align Language Models with Diversity Using GFlowNets

📄 arXiv: 2410.15096v1 📥 PDF

作者: Oh Joon Kwon, Daiki E. Matsunaga, Kee-Eung Kim

分类: cs.AI

发布日期: 2024-10-19

期刊: EMNLP 2024

💡 一句话要点

提出GDPO：利用GFlowNets学习直接对齐语言模型并提升多样性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型 偏好对齐 GFlowNets 多样性 离线强化学习

📋 核心要点

  1. DPO等离线偏好对齐方法易过度拟合奖励信号，导致生成的响应包含数据集中的人类偏见，缺乏多样性。
  2. GDPO利用GFlowNets在离线偏好对齐中寻求多样性，旨在生成更多样化的响应，同时保持与人类价值观的一致性。
  3. 实验结果表明，GDPO在对话生成和摘要任务中，相比基线方法，能够生成更具多样性的响应。

📝 摘要（中文）

当前语言模型的一个关键组成部分是偏好对齐，旨在精确控制模型的行为以满足人类的需求和价值观。其中最著名的方法是基于人类反馈的强化学习（RLHF）及其离线变体直接偏好优化（DPO），两者都试图最大化基于人类偏好的奖励模型。特别是，DPO直接从离线偏好数据中提取奖励信号，但这样做会过度拟合奖励信号，并生成可能包含数据集中人类偏见的次优响应。在这项工作中，我们提出了一种名为GFlowNet-DPO（GDPO）的多样性强化学习算法的实际应用，用于离线偏好对齐设置，以应对这些挑战。实验结果表明，GDPO可以生成比基线方法更加多样化的响应，同时在对话生成和摘要任务中仍然与人类价值观相对一致。

🔬 方法详解

问题定义：论文旨在解决现有直接偏好优化（DPO）方法在离线偏好对齐中过度拟合奖励信号，导致生成响应缺乏多样性，并可能包含数据集中人类偏见的问题。现有方法难以在保持与人类价值观对齐的同时，生成更多样化的结果。

核心思路：论文的核心思路是利用GFlowNets来引导语言模型生成更多样化的响应，同时通过DPO框架保持与人类偏好的一致性。GFlowNets能够学习生成与奖励成比例的样本，从而鼓励模型探索更广泛的响应空间。

技术框架：GDPO框架主要包含以下几个模块：1) 语言模型：用于生成文本响应；2) 偏好数据集：包含人类对不同响应的偏好信息；3) GFlowNet：用于学习生成多样化的响应；4) DPO损失函数：用于对齐语言模型的输出与人类偏好。整体流程是，首先使用GFlowNet生成候选响应，然后使用DPO损失函数根据人类偏好调整语言模型参数。

关键创新：该论文的关键创新在于将GFlowNets引入到离线偏好对齐任务中，用于提升生成响应的多样性。与传统的DPO方法相比，GDPO能够探索更广泛的响应空间，避免过度拟合训练数据中的偏见。

关键设计：GDPO的关键设计包括：1) GFlowNet的奖励函数设计，需要平衡多样性和与人类偏好的对齐；2) DPO损失函数的权重调整，需要平衡偏好对齐和多样性探索；3) GFlowNet的训练策略，需要保证能够有效地探索响应空间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GDPO在对话生成和摘要任务中，能够生成比基线方法更加多样化的响应，同时保持与人类价值观相对一致。具体性能提升数据未知，但论文强调了GDPO在提升多样性方面的显著优势。GDPO成功地在离线偏好对齐设置中应用了GFlowNets，验证了其在提升语言模型多样性方面的有效性。

🎯 应用场景

GDPO方法可应用于各种需要生成多样化且符合人类偏好的文本的场景，例如对话生成、文本摘要、故事创作等。该方法能够提升生成内容的创造性和实用性，减少模型对训练数据偏见的依赖，从而提高用户体验和满意度。未来，该方法还可扩展到其他模态，如图像和音频生成。

📄 摘要（原文）

A critical component of the current generation of language models is preference alignment, which aims to precisely control the model's behavior to meet human needs and values. The most notable among such methods is Reinforcement Learning with Human Feedback (RLHF) and its offline variant Direct Preference Optimization (DPO), both of which seek to maximize a reward model based on human preferences. In particular, DPO derives reward signals directly from the offline preference data, but in doing so overfits the reward signals and generates suboptimal responses that may contain human biases in the dataset. In this work, we propose a practical application of a diversity-seeking RL algorithm called GFlowNet-DPO (GDPO) in an offline preference alignment setting to curtail such challenges. Empirical results show GDPO can generate far more diverse responses than the baseline methods that are still relatively aligned with human values in dialog generation and summarization tasks.