C2-DPO: Constrained Controlled Direct Preference Optimization

📄 arXiv: 2502.17507v2 📥 PDF

作者: Kavosh Asadi, Julien Han, Idan Pipano, Xingzi Xu, Dominique Perrault-Joncas, Shoham Sabach, Karim Bouyarmane, Mohammad Ghavamzadeh

分类: cs.LG, cs.AI

发布日期: 2025-02-22 (更新: 2025-06-15)

💡 一句话要点

提出C2-DPO，通过约束概率位移改进DPO对齐语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 直接偏好优化 语言模型对齐 强化学习 约束优化 概率位移

📋 核心要点

  1. DPO在对齐语言模型时表现出概率降低现象，导致性能下降。
  2. C2-DPO通过引入约束来限制首选和拒绝响应之间的概率位移，从而控制DPO的行为。
  3. 实验表明，C2-DPO在标准偏好数据集上对齐语言模型时，性能优于原始DPO。

📝 摘要（中文）

直接偏好优化（DPO）已成为解决人工智能对齐问题的一种有前景的方法。本文对DPO提出了两个违反直觉的观察。首先，我们证明了DPO损失可以通过从一个替代优化问题出发推导出来，该问题仅在样本内响应上定义KL约束，这与原始RLHF问题（在整个分布上定义约束）不同。其次，我们证明了这个替代优化问题的一个令人惊讶的性质，即在其最优策略下，首选和拒绝的响应的概率都倾向于降低，这是DPO在实践中通常表现出的一种现象。为了控制这种行为，我们提出了一组约束，旨在限制参考策略和目标策略中首选和拒绝响应之间概率质量的位移。由此产生的算法，我们称之为约束控制DPO（C2-DPO），具有有意义的RLHF解释。通过对冲位移，当使用标准偏好数据集对齐多个语言模型时，C2-DPO提供了优于vanilla DPO的实际改进。

🔬 方法详解

问题定义：DPO在对齐语言模型时，存在一个问题，即在优化过程中，无论对于首选还是拒绝的响应，其概率都会倾向于降低。这种概率降低现象会导致模型生成质量的下降，限制了DPO的性能。现有方法缺乏对这种概率位移的有效控制。

核心思路：C2-DPO的核心思路是通过引入约束来限制参考策略和目标策略之间，首选和拒绝响应的概率质量的位移。通过对概率位移进行约束，可以避免模型过度降低响应的概率，从而保持生成质量。

技术框架：C2-DPO的整体框架与DPO类似，仍然是基于偏好数据的优化。主要的区别在于损失函数中引入了额外的约束项。该约束项用于惩罚首选和拒绝响应之间概率质量的过度位移。具体来说，C2-DPO在DPO的损失函数中添加了一个正则化项，该项基于KL散度来衡量目标策略和参考策略在首选和拒绝响应上的概率分布差异。

关键创新：C2-DPO的关键创新在于引入了约束来控制DPO中出现的概率位移现象。与原始DPO相比，C2-DPO能够更稳定地对齐语言模型，避免生成质量的下降。这种约束的设计是基于对DPO优化过程的深入理解，并结合了RLHF的解释。

关键设计：C2-DPO的关键设计在于约束项的构建。该约束项基于KL散度，用于衡量目标策略和参考策略在首选和拒绝响应上的概率分布差异。约束项的强度由一个超参数控制，需要根据具体任务进行调整。此外，C2-DPO的优化过程与DPO类似，可以使用梯度下降等方法进行优化。损失函数包含DPO损失和约束项两部分，通过调整约束项的权重来平衡对齐效果和生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，C2-DPO在多个标准偏好数据集上优于vanilla DPO。具体来说，C2-DPO在对齐语言模型时，能够获得更高的奖励和更低的KL散度，表明其在对齐效果和生成质量之间取得了更好的平衡。实验结果验证了C2-DPO的有效性和优越性。

🎯 应用场景

C2-DPO可应用于各种需要对齐语言模型的场景，例如对话系统、文本生成、代码生成等。通过使用C2-DPO，可以提高模型的生成质量和对齐效果，使其更好地满足人类的偏好和需求。该方法在实际应用中具有广泛的价值和潜力。

📄 摘要（原文）

Direct preference optimization (\texttt{DPO}) has emerged as a promising approach for solving the alignment problem in AI. In this paper, we make two counter-intuitive observations about \texttt{DPO}. First, we show that \texttt{DPO} loss could be derived by starting from an alternative optimization problem that only defines the KL guardrail on in-sample responses, unlike the original RLHF problem where guardrails are defined on the entire distribution. Second, we prove a surprising property of this alternative optimization problem, namely that under its optimal policy, both preferred and rejected responses tend to decrease in probability, a phenomenon typically displayed by DPO in practice. To control this behavior, we propose a set of constraints designed to limit the displacement of probability mass between the preferred and rejected responses in the reference and target policies. The resulting algorithm, which we call Constrained Controlled DPO (\texttt{C2-DPO}), has a meaningful RLHF interpretation. By hedging against the displacement, \texttt{C2-DPO} provides practical improvements over vanilla \texttt{DPO} when aligning several language models using standard preference datasets.