A Comprehensive Survey of Direct Preference Optimization: Datasets, Theories, Variants, and Applications

📄 arXiv: 2410.15595v3 📥 PDF

作者: Wenyi Xiao, Zechuan Wang, Leilei Gan, Shuai Zhao, Zongrui Li, Ruirui Lei, Wanggui He, Luu Anh Tuan, Long Chen, Hao Jiang, Zhou Zhao, Fei Wu

分类: cs.AI, cs.CL, cs.LG

发布日期: 2024-10-21 (更新: 2025-07-14)

备注: 45 pages, 12 Figures. Project page: https://github.com/Mr-Loevan/DPO-Survey

🔗 代码/项目: GITHUB

💡 一句话要点

DPO综述：全面回顾直接偏好优化算法，涵盖数据集、理论、变体与应用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 直接偏好优化 大型语言模型 人类反馈 策略对齐 强化学习 偏好学习 综述研究

📋 核心要点

  1. 现有方法依赖强化学习从人类反馈中学习，过程复杂且不稳定，DPO旨在提供一种更直接、更稳定的对齐方法。
  2. DPO的核心思想是将人类偏好建模为一个二元选择问题，并直接优化策略模型以匹配这些偏好，无需显式奖励函数。
  3. 该综述全面分析了DPO的理论基础、变体、数据集和应用，并提出了未来研究方向，为DPO的进一步发展提供指导。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，将策略模型与人类偏好对齐变得至关重要。直接偏好优化（DPO）作为一种有前景的对齐方法应运而生，它是一种无需强化学习（RL）即可实现人类反馈强化学习（RLHF）的替代方案。尽管DPO取得了各种进展，并且存在固有的局限性，但目前文献中缺乏对这些方面的深入回顾。本文全面回顾了DPO的挑战和机遇，涵盖理论分析、变体、相关偏好数据集和应用。具体来说，我们根据关键研究问题对DPO的最新研究进行了分类，以便全面了解DPO的当前情况。此外，我们还提出了几个未来的研究方向，为研究界提供关于模型对齐的见解。相关论文的最新集合可在https://github.com/Mr-Loevan/DPO-Survey上找到。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）对齐方法，特别是基于人类反馈的强化学习（RLHF），存在训练过程复杂、不稳定，以及对奖励函数设计敏感等问题。DPO旨在解决这些问题，提供一种更直接、更高效的策略对齐方法。现有方法的痛点在于需要复杂的强化学习流程，以及难以准确建模人类偏好。

核心思路：DPO的核心思路是将策略优化问题转化为一个二元偏好分类问题。它直接优化策略模型，使其能够区分人类更喜欢的输出和不喜欢的输出，而无需显式地定义奖励函数。这种方法简化了训练流程，并降低了对奖励函数设计的依赖。

技术框架：DPO的整体框架包括以下几个主要步骤：1) 收集人类偏好数据，即对于给定的输入，标注哪些输出更符合人类的偏好。2) 使用这些偏好数据训练一个策略模型，目标是最大化模型生成人类偏好输出的概率。3) 使用训练好的策略模型进行推理，生成符合人类偏好的输出。

关键创新：DPO最重要的技术创新在于它避免了传统的强化学习流程，直接从人类偏好数据中学习策略。与RLHF相比，DPO无需训练奖励模型，也无需进行复杂的策略迭代，从而简化了训练过程，并提高了训练的稳定性。DPO将策略优化问题转化为一个监督学习问题，使得可以使用现有的监督学习技术进行训练。

关键设计：DPO的关键设计包括：1) 使用一个二元交叉熵损失函数来衡量模型预测偏好的准确性。2) 使用一个参考模型来约束策略模型的更新，防止策略漂移。3) 使用合适的学习率和优化器来训练策略模型。具体来说，损失函数通常设计为最大化人类偏好输出的概率，同时最小化非偏好输出的概率。参考模型通常是预训练的LLM，用于保证生成文本的多样性和质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述全面回顾了DPO的最新进展，并对DPO的理论基础、变体、数据集和应用进行了深入分析。该综述总结了DPO的优势和局限性，并提出了未来研究方向，为DPO的进一步发展提供了有价值的指导。通过对现有研究的分类和总结，该综述为研究人员提供了一个全面的DPO知识体系。

🎯 应用场景

DPO的研究成果可广泛应用于各种需要与人类偏好对齐的自然语言处理任务中，例如对话生成、文本摘要、机器翻译等。通过DPO，可以训练出更符合人类价值观和需求的LLM，从而提高用户体验和应用效果。未来，DPO有望成为LLM对齐的标准方法。

📄 摘要（原文）

With the rapid advancement of large language models (LLMs), aligning policy models with human preferences has become increasingly critical. Direct Preference Optimization (DPO) has emerged as a promising approach for alignment, acting as an RL-free alternative to Reinforcement Learning from Human Feedback (RLHF). Despite DPO's various advancements and inherent limitations, an in-depth review of these aspects is currently lacking in the literature. In this work, we present a comprehensive review of the challenges and opportunities in DPO, covering theoretical analyses, variants, relevant preference datasets, and applications. Specifically, we categorize recent studies on DPO based on key research questions to provide a thorough understanding of DPO's current landscape. Additionally, we propose several future research directions to offer insights on model alignment for the research community. An updated collection of relevant papers can be found on https://github.com/Mr-Loevan/DPO-Survey.