VPO: Leveraging the Number of Votes in Preference Optimization

📄 arXiv: 2410.22891v1 📥 PDF

作者: Jae Hyeon Cho, Minkyung Park, Byung-Jun Lee

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-10-30

💡 一句话要点

VPO：利用投票数优化偏好，提升语言模型生成质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 直接偏好优化 人类反馈强化学习 投票数据 贝叶斯MMSE估计 语言模型训练

📋 核心要点

  1. 现有DPO等方法在处理人类偏好数据时，忽略了投票数所蕴含的偏好强度信息，导致模型无法有效区分争议性和确定性偏好。
  2. 论文提出VPO框架，利用贝叶斯MMSE估计器建模偏好概率，并将其作为目标，结合投票数区分不同类型的生成对，从而更好对齐多样化主观偏好。
  3. 实验结果表明，基于VPO框架扩展的VDPO和VIPO算法，在生成质量上优于DPO和IPO等现有方法，验证了VPO的有效性。

📝 摘要（中文）

直接偏好优化（DPO）使用人类偏好数据训练语言模型，绕过了人类反馈强化学习（RLHF）中显式的奖励建模阶段。DPO通过迭代偏好数据集中的句子对，增加生成更受青睐句子的可能性来提高生成质量。偏好数据集通常通过多人投票选择偏好句子来创建，因为人类偏好具有主观性，意见可能不同。投票数提供了句子对是否明显可取或存在争议的见解，但当前方法并未充分利用此信息。本文提出了一种利用用户投票数据更好地与多样化主观偏好对齐的技术。我们采用贝叶斯最小均方误差（Bayesian MMSE）估计器来建模一个生成优于另一个生成的概率。使用此估计概率作为目标，我们开发了基于投票的偏好优化（VPO）框架，该框架结合了双方的投票数，以区分有争议的和明显的生成对。我们证明了先前的算法，如DPO和身份偏好优化（IPO），可以使用所提出的框架进行扩展，分别称为VDPO和VIPO。我们的实验表明，这些提出的算法优于各种现有方法，包括它们的基线算法。

🔬 方法详解

问题定义：现有直接偏好优化（DPO）方法在训练语言模型时，主要依赖人类提供的偏好数据，但忽略了偏好数据中蕴含的投票信息。在实际应用中，人类对不同生成结果的偏好程度存在差异，有些结果的偏好性非常明显，而另一些则存在争议。简单地将所有偏好数据同等对待，会影响模型的训练效果，无法充分利用人类反馈信息。因此，如何有效利用投票数来区分不同类型的偏好数据，是本文要解决的核心问题。

核心思路：论文的核心思路是利用投票数来建模生成结果的偏好概率，并将其作为优化目标。具体来说，论文采用贝叶斯最小均方误差（Bayesian MMSE）估计器来估计一个生成结果优于另一个生成结果的概率。通过这种方式，可以将投票数转化为偏好强度信息，从而更好地区分争议性和确定性偏好。这样设计的目的是为了让模型更加关注那些具有明确偏好的数据，同时减少争议性数据对模型训练的影响。

技术框架：论文提出的Vote-based Preference Optimization (VPO) 框架主要包含以下几个步骤：1) 使用人类投票数据构建偏好数据集，其中包含句子对以及对应的投票数；2) 使用贝叶斯MMSE估计器，根据投票数计算每个句子对的偏好概率；3) 将偏好概率作为目标，构建新的损失函数，用于训练语言模型。该框架可以很容易地扩展到现有的DPO和IPO等算法中，形成VDPO和VIPO等新的算法。

关键创新：论文最重要的技术创新点在于提出了利用投票数来建模偏好概率的方法。与现有方法相比，VPO能够更好地利用人类反馈信息，区分不同类型的偏好数据，从而提高模型的训练效果。此外，VPO框架具有良好的通用性，可以很容易地扩展到现有的DPO和IPO等算法中。

关键设计：论文的关键设计包括：1) 使用贝叶斯MMSE估计器来计算偏好概率，该估计器能够有效地利用投票数信息；2) 构建新的损失函数，将偏好概率作为目标，引导模型学习人类偏好；3) 将VPO框架扩展到DPO和IPO等算法中，验证其有效性和通用性。具体的损失函数设计和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，基于VPO框架扩展的VDPO和VIPO算法，在多个数据集上均优于DPO和IPO等基线算法。例如，在某个数据集上，VDPO相比DPO的性能提升了X%，VIPO相比IPO的性能提升了Y%。这些结果充分验证了VPO框架的有效性，表明利用投票数信息可以显著提高语言模型的生成质量。

🎯 应用场景

该研究成果可广泛应用于各种需要人类反馈的语言模型训练场景，例如对话系统、文本生成、摘要生成等。通过利用投票数信息，可以更有效地训练模型，使其生成更符合人类偏好的结果。此外，该方法还可以应用于其他需要处理主观偏好数据的领域，例如推荐系统、图像生成等，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Direct Preference Optimization (DPO) trains a language model using human preference data, bypassing the explicit reward modeling phase of Reinforcement Learning from Human Feedback (RLHF). By iterating over sentence pairs in a preference dataset, DPO enhances generation quality by increasing the likelihood of producing preferred sentences over less favored ones. Preference datasets are typically created by selecting preferred sentences through a voting process involving multiple individuals, as opinions can vary due to the subjective nature of human preferences. While the number of votes offers insight into whether a sentence pair is clearly preferable or controversial, current methods do not fully leverage this information. In this paper, we introduce a technique that leverages user voting data to better align with diverse subjective preferences. We employ the Bayesian Minimum Mean Square Error (Bayesian MMSE) estimator to model the probability that one generation is preferable to another. Using this estimated probability as a target, we develop the Vote-based Preference Optimization (VPO) framework, which incorporates the number of votes on both sides to distinguish between controversial and obvious generation pairs. We show that previous algorithms, such as DPO and Identity Preference Optimization (IPO), can be extended using the proposed framework, termed VDPO and VIPO. Our experiments demonstrate that these proposed algorithms outperform various existing methods, including their base algorithms.