Towards Robust Alignment of Language Models: Distributionally Robustifying Direct Preference Optimization

📄 arXiv: 2407.07880v2 📥 PDF

作者: Junkang Wu, Yuexiang Xie, Zhengyi Yang, Jiancan Wu, Jiawei Chen, Jinyang Gao, Bolin Ding, Xiang Wang, Xiangnan He

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-07-10 (更新: 2025-04-18)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Dr. DPO，通过分布鲁棒优化提升语言模型在噪声数据下的对齐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型对齐 直接偏好优化 分布鲁棒优化 噪声鲁棒性 大型语言模型 偏好学习 鲁棒优化

📋 核心要点

  1. DPO在噪声数据下对齐面临挑战，点级和配对噪声会影响模型性能。
  2. Dr. DPO通过分布鲁棒优化，提升DPO对点级和配对噪声的鲁棒性。
  3. 实验表明，Dr. DPO在噪声和无噪声环境下均能提升生成文本质量和响应准确性。

📝 摘要（中文）

本研究旨在解决直接偏好优化(DPO)在训练大型语言模型(LLM)时，数据集噪声带来的挑战。我们将噪声分为点级噪声（包括低质量数据点）和配对噪声（包含影响偏好排序的错误数据对关联）。利用分布鲁棒优化(DRO)，我们增强DPO对这些噪声的鲁棒性。理论分析表明，DPO本身就嵌入了DRO原则，对点级噪声具有鲁棒性，其中正则化系数β在抗噪声方面起着关键作用。在此基础上，我们引入了分布鲁棒DPO (Dr. DPO)，通过优化最坏情况的配对场景来整合配对鲁棒性。Dr. DPO中的新超参数β'允许对数据对的可靠性进行微调控制，从而在嘈杂的训练环境中实现探索和利用之间的战略平衡。经验评估表明，Dr. DPO显著提高了生成文本的质量和偏好数据集中的响应准确性，在噪声和无噪声环境中都表现出增强的性能。代码可在https://github.com/junkangwu/Dr_DPO 获取。

🔬 方法详解

问题定义：直接偏好优化(DPO)是一种有效的语言模型对齐方法，但其性能受训练数据集中噪声的影响。这些噪声包括低质量的数据点（点级噪声）以及错误的偏好对关联（配对噪声），导致模型学习到错误的偏好排序，从而降低生成文本的质量和准确性。现有方法通常假设数据是干净的，缺乏对噪声数据的鲁棒性。

核心思路：论文的核心思路是利用分布鲁棒优化(DRO)来增强DPO对噪声数据的鲁棒性。DRO旨在优化模型在最坏情况下的性能，从而提高模型在面对数据分布变化时的泛化能力。具体来说，论文将DPO与DRO相结合，通过优化一个考虑了噪声影响的损失函数，使模型能够学习到更可靠的偏好信息。

技术框架：Dr. DPO的技术框架建立在DPO的基础上，并引入了分布鲁棒优化的机制。整体流程如下：1) 识别并建模数据中的噪声分布；2) 构建一个考虑噪声影响的鲁棒损失函数；3) 使用优化算法（如梯度下降）最小化鲁棒损失函数，从而训练模型。Dr. DPO的关键在于对配对噪声的建模和鲁棒损失函数的设计。

关键创新：论文的关键创新在于提出了Distributionally Robustifying DPO (Dr. DPO)，它通过优化最坏情况的配对场景来整合配对鲁棒性。与传统的DPO相比，Dr. DPO能够更好地处理训练数据中的噪声，从而提高模型的泛化能力和生成文本的质量。此外，论文还从理论上分析了DPO本身所具有的分布鲁棒性，并揭示了正则化系数β在抗噪声方面的作用。

关键设计：Dr. DPO引入了一个新的超参数β'，用于控制数据对的可靠性。β'允许对数据对的置信度进行调整，从而在噪声环境中实现探索和利用之间的平衡。鲁棒损失函数的设计是另一个关键的技术细节，它通过考虑噪声的影响，使得模型能够学习到更可靠的偏好信息。具体来说，损失函数中引入了一个不确定性集合，模型需要在这个集合中最坏情况下进行优化。

🖼️ 关键图片

img_0

📊 实验亮点

Dr. DPO在噪声和无噪声环境下均表现出优于DPO的性能。实验结果表明，Dr. DPO能够显著提高生成文本的质量和响应准确性。具体而言，在存在噪声的数据集上，Dr. DPO的性能提升尤为明显，证明了其对噪声数据的鲁棒性。此外，实验还验证了超参数β'对模型性能的影响，并展示了如何通过调整β'来优化模型在不同噪声环境下的表现。

🎯 应用场景

Dr. DPO可应用于各种需要使用偏好数据对齐语言模型的场景，例如对话系统、文本摘要、代码生成等。该方法尤其适用于数据质量不高或存在大量噪声的场景，能够提升模型在实际应用中的稳定性和可靠性。未来，Dr. DPO可以进一步扩展到其他对齐方法和任务中，并与其他鲁棒性技术相结合，以应对更复杂的噪声环境。

📄 摘要（原文）

This study addresses the challenge of noise in training datasets for Direct Preference Optimization (DPO), a method for aligning Large Language Models (LLMs) with human preferences. We categorize noise into pointwise noise, which includes low-quality data points, and pairwise noise, which encompasses erroneous data pair associations that affect preference rankings. Utilizing Distributionally Robust Optimization (DRO), we enhance DPO's resilience to these types of noise. Our theoretical insights reveal that DPO inherently embeds DRO principles, conferring robustness to pointwise noise, with the regularization coefficient $β$ playing a critical role in its noise resistance. Extending this framework, we introduce Distributionally Robustifying DPO (Dr. DPO), which integrates pairwise robustness by optimizing against worst-case pairwise scenarios. The novel hyperparameter $β'$ in Dr. DPO allows for fine-tuned control over data pair reliability, providing a strategic balance between exploration and exploitation in noisy training environments. Empirical evaluations demonstrate that Dr. DPO substantially improves the quality of generated text and response accuracy in preference datasets, showcasing enhanced performance in both noisy and noise-free settings. The code is available at https://github.com/junkangwu/Dr_DPO.