A Survey of Direct Preference Optimization

📄 arXiv: 2503.11701v1 📥 PDF

作者: Shunyu Liu, Wenkai Fang, Zetian Hu, Junjie Zhang, Yang Zhou, Kongcheng Zhang, Rongcheng Tu, Ting-En Lin, Fei Huang, Mingli Song, Yongbin Li, Dacheng Tao

分类: cs.LG

发布日期: 2025-03-12

🔗 代码/项目: GITHUB

💡 一句话要点

DPO综述：直接偏好优化方法，提升LLM对齐效率与稳定性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 直接偏好优化 大型语言模型 人类反馈 强化学习 模型对齐 偏好学习 奖励建模 综述

📋 核心要点

  1. RLHF方法依赖复杂的奖励建模，导致计算效率低和训练不稳定，限制了LLM对齐的效率。
  2. DPO直接利用人类偏好优化LLM，无需显式奖励建模，简化了对齐过程，提升了效率。
  3. 论文对DPO进行全面综述，提出新的分类法，并进行实证分析，为DPO的理解和应用提供指导。

📝 摘要（中文）

大型语言模型（LLMs）展现了前所未有的生成能力，但其与人类价值观的对齐对于确保有益和无害的部署至关重要。虽然基于人类反馈的强化学习（RLHF）已成为将LLM与人类偏好对齐的强大范例，但其对复杂奖励建模的依赖引入了计算效率和训练稳定性的内在权衡。在此背景下，直接偏好优化（DPO）最近作为一种简化的替代方案而受到关注，它直接使用人类偏好来优化LLM，从而避免了对显式奖励建模的需求。由于其理论上的优雅性和计算效率，DPO迅速吸引了大量的研究工作，探索其各种实现和应用。然而，该领域目前缺乏系统的组织和比较分析。在本综述中，我们对DPO进行了全面的概述，并介绍了一种新的分类法，将先前的工作分为四个关键维度：数据策略、学习框架、约束机制和模型属性。我们进一步对标准化基准上的DPO变体进行了严格的实证分析。此外，我们还讨论了DPO的实际应用、开放挑战和未来方向。这项工作提供了理解DPO的概念框架和实践指导，旨在推进稳健和通用的对齐范例。所有收集的资源都可用，并将在https://github.com/liushunyu/awesome-direct-preference-optimization上持续更新。

🔬 方法详解

问题定义：现有基于人类反馈的强化学习（RLHF）方法在对齐大型语言模型（LLMs）时，需要构建复杂的奖励模型，这导致计算成本高昂，训练过程不稳定，并且难以进行有效的优化。因此，如何更高效、更稳定地将LLM与人类偏好对齐是一个关键问题。

核心思路：直接偏好优化（DPO）的核心思路是绕过传统的奖励建模步骤，直接根据人类的偏好数据（例如，对不同回复的排序或评分）来优化LLM。DPO通过一个精心设计的损失函数，使得模型能够直接学习到人类偏好，而无需先学习一个中间的奖励函数。

技术框架：DPO的整体框架包括以下几个关键部分：1）收集人类偏好数据，例如对不同模型输出的排序；2）构建DPO损失函数，该函数基于Bradley-Terry模型，将偏好概率与模型输出的logits相关联；3）使用偏好数据训练LLM，通过最小化DPO损失函数来直接优化模型，使其生成更符合人类偏好的输出。

关键创新：DPO最重要的创新在于它避免了显式的奖励建模，从而简化了LLM对齐的过程。与RLHF相比，DPO不需要训练一个独立的奖励模型，也不需要进行复杂的强化学习训练，从而降低了计算成本和训练难度。此外，DPO的理论基础更加清晰，更容易进行分析和调试。

关键设计：DPO的关键设计包括：1）DPO损失函数的设计，该函数基于Bradley-Terry模型，能够有效地将偏好数据转化为模型优化的目标；2）合适的正则化策略，以防止模型过拟合偏好数据；3）选择合适的预训练LLM作为DPO的初始化模型，以提高训练效率和最终性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述对DPO的各种变体进行了全面的实证分析，并在标准化基准上进行了评估。结果表明，DPO在多个任务上都取得了与RLHF相当甚至更好的性能，同时具有更高的计算效率和训练稳定性。该综述还指出了DPO的局限性和未来研究方向，为DPO的进一步发展提供了指导。

🎯 应用场景

DPO方法可广泛应用于各种需要将LLM与人类价值观对齐的场景，例如：对话系统、文本生成、代码生成等。通过DPO，可以使LLM生成更符合人类偏好、更安全、更有帮助的输出，从而提升用户体验，降低潜在风险。未来，DPO有望成为LLM对齐的标准方法之一。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated unprecedented generative capabilities, yet their alignment with human values remains critical for ensuring helpful and harmless deployments. While Reinforcement Learning from Human Feedback (RLHF) has emerged as a powerful paradigm for aligning LLMs with human preferences, its reliance on complex reward modeling introduces inherent trade-offs in computational efficiency and training stability. In this context, Direct Preference Optimization (DPO) has recently gained prominence as a streamlined alternative that directly optimizes LLMs using human preferences, thereby circumventing the need for explicit reward modeling. Owing to its theoretical elegance and computational efficiency, DPO has rapidly attracted substantial research efforts exploring its various implementations and applications. However, this field currently lacks systematic organization and comparative analysis. In this survey, we conduct a comprehensive overview of DPO and introduce a novel taxonomy, categorizing previous works into four key dimensions: data strategy, learning framework, constraint mechanism, and model property. We further present a rigorous empirical analysis of DPO variants across standardized benchmarks. Additionally, we discuss real-world applications, open challenges, and future directions for DPO. This work delivers both a conceptual framework for understanding DPO and practical guidance for practitioners, aiming to advance robust and generalizable alignment paradigms. All collected resources are available and will be continuously updated at https://github.com/liushunyu/awesome-direct-preference-optimization.