SeRA: Self-Reviewing and Alignment of Large Language Models using Implicit Reward Margins

📄 arXiv: 2410.09362v1 📥 PDF

作者: Jongwoo Ko, Saket Dingliwal, Bhavana Ganesh, Sailik Sengupta, Sravan Bodapati, Aram Galstyan

分类: cs.LG, cs.AI

发布日期: 2024-10-12

💡 一句话要点

SeRA：利用隐式奖励边际进行大语言模型的自审查与对齐

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 直接对齐算法 离线偏好学习 自审查 隐式奖励 指令遵循 强化学习 偏好引导

📋 核心要点

  1. 现有直接对齐算法易受离线数据集中虚假相关性的影响，且易过拟合于低概率轨迹上的反馈。
  2. SeRA通过隐式奖励边际进行样本选择和偏好引导，从而缓解过拟合问题并提升对齐效果。
  3. 实验表明，SeRA能有效提升大语言模型在离线偏好数据集上的训练效果，并具有良好的通用性。

📝 摘要（中文）

直接对齐算法（DAA），如直接偏好优化（DPO），因其简单、高效和稳定，已成为人类反馈强化学习（RLHF）的热门替代方案。然而，DAA中使用的偏好通常在对齐训练开始前收集，并且保持不变（离线策略）。这可能导致两个问题：(1)策略模型学习数据集中的虚假相关性（而不是学习人类偏好标签中表达的预期对齐）；(2)过拟合于由更新后的策略模型不太可能生成的离线轨迹上的反馈。为了解决这些问题，我们引入了自审查与对齐（SeRA），这是一种经济高效且有效的方法，可以很容易地与现有的DAA结合使用。SeRA包括两个组成部分：(1)使用隐式奖励边际进行样本选择，这有助于减轻对某些不需要的特征的过拟合；(2)使用隐式奖励进行偏好引导，以经济高效的方式使用更新后的策略模型来扩充偏好数据。大量的实验，包括一些在指令遵循任务上的实验，证明了SeRA在离线偏好数据集上使用DAA训练LLM的有效性和通用性。

🔬 方法详解

问题定义：论文旨在解决直接对齐算法（DAA）在离线偏好数据集上训练大语言模型时遇到的两个主要问题：一是模型容易学习到数据集中存在的虚假相关性，导致模型行为与人类意图不符；二是模型容易过拟合于那些由当前策略模型不太可能生成的历史轨迹上的反馈，从而影响模型的泛化能力。现有方法通常依赖于静态的离线偏好数据，无法根据模型训练的进展进行调整，因此存在上述问题。

核心思路：SeRA的核心思路是让模型能够“自审查”并动态调整训练数据。具体来说，它利用隐式奖励边际来选择更有价值的样本，并使用更新后的策略模型来引导偏好数据的生成，从而缓解过拟合和虚假相关性的问题。这种方法的核心在于利用模型自身的学习结果来改进训练数据，形成一个正反馈循环。

技术框架：SeRA包含两个主要组成部分：样本选择和偏好引导。样本选择阶段使用隐式奖励边际来评估每个样本的重要性，并选择那些具有较高奖励边际的样本进行训练，从而减少对噪声样本的依赖。偏好引导阶段则利用更新后的策略模型生成新的样本，并使用隐式奖励来标注这些样本的偏好，从而扩充训练数据集，并使模型能够更好地适应当前策略。这两个阶段可以迭代进行，从而不断提升模型的性能。

关键创新：SeRA的关键创新在于其“自审查”机制，即利用模型自身的学习结果来动态调整训练数据。与传统的静态离线训练方法不同，SeRA能够根据模型的训练进展，自适应地选择更有价值的样本，并生成更符合当前策略的训练数据。这种自适应性使得SeRA能够更好地应对离线数据集中存在的噪声和偏差，从而提升模型的性能。

关键设计：SeRA的关键设计包括隐式奖励边际的计算方法和偏好引导的策略。隐式奖励边际通常基于模型的输出概率或奖励预测值来计算，用于衡量模型对不同选择的偏好程度。偏好引导策略则需要平衡探索和利用，即在生成新样本时，既要探索新的行为空间，又要利用已有的知识来生成高质量的样本。具体的参数设置和损失函数需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在指令遵循任务上的实验证明了SeRA的有效性。实验结果表明，与传统的直接对齐算法相比，SeRA能够显著提升模型的性能，尤其是在处理噪声数据和复杂任务时。具体的性能提升幅度取决于具体的任务和数据集，但总体而言，SeRA能够带来显著的改进。

🎯 应用场景

SeRA可应用于各种需要利用离线偏好数据训练大语言模型的场景，例如指令遵循、对话生成、文本摘要等。该方法能够提升模型在这些任务上的性能和鲁棒性，使其更好地理解人类意图并生成高质量的文本。此外，SeRA的自审查机制也为其他机器学习任务提供了一种新的思路，即利用模型自身的学习结果来改进训练数据。

📄 摘要（原文）

Direct alignment algorithms (DAAs), such as direct preference optimization (DPO), have become popular alternatives for Reinforcement Learning from Human Feedback (RLHF) due to their simplicity, efficiency, and stability. However, the preferences used in DAAs are usually collected before the alignment training begins and remain unchanged (off-policy). This can lead to two problems where the policy model (1) picks up on spurious correlations in the dataset (as opposed to learning the intended alignment expressed in the human preference labels), and (2) overfits to feedback on off-policy trajectories that have less likelihood of being generated by an updated policy model. To address these issues, we introduce Self-Reviewing and Alignment (SeRA), a cost-efficient and effective method that can be readily combined with existing DAAs. SeRA comprises of two components: (1) sample selection using implicit reward margins, which helps alleviate over-fitting to some undesired features, and (2) preference bootstrapping using implicit rewards to augment preference data with updated policy models in a cost-efficient manner. Extensive experimentation, including some on instruction-following tasks, demonstrate the effectiveness and generality of SeRA in training LLMs on offline preference datasets with DAAs.