On the Limited Generalization Capability of the Implicit Reward Model Induced by Direct Preference Optimization

📄 arXiv: 2409.03650v2 📥 PDF

作者: Yong Lin, Skyler Seto, Maartje ter Hoeve, Katherine Metcalf, Barry-John Theobald, Xuan Wang, Yizhe Zhang, Chen Huang, Tong Zhang

分类: cs.LG, cs.CL

发布日期: 2024-09-05 (更新: 2024-10-03)

备注: 12 pages, 8 tables, 3 figures; Paper Accepted at EMNLP Findings 2024

💡 一句话要点

DPO隐式奖励模型泛化性受限，不如显式奖励模型稳定

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 直接偏好优化 隐式奖励模型 显式奖励模型 泛化能力 分布偏移

📋 核心要点

  1. 现有RLHF方法依赖显式奖励模型，但DPO等方法使用隐式奖励模型，其泛化能力有待考察。
  2. 本文对比了DPO的隐式奖励模型（DPORM）和显式奖励模型（EXRM）的泛化性能。
  3. 实验表明，DPORM在分布偏移情况下泛化能力显著下降，不如EXRM稳定。

📝 摘要（中文）

本文研究了直接偏好优化（DPO）中隐式奖励模型（DPORM）的泛化能力。DPO是一种通过偏好数据学习奖励函数，从而使语言模型与人类偏好对齐的方法。虽然之前的研究表明，DPORM在极限情况下可以近似显式奖励模型（EXRM），但DPORM在实际应用中与EXRM的性能匹配程度尚不清楚。本文通过比较DPORM和EXRM在区分首选答案和拒绝答案方面的准确性，发现DPORM在训练数据集上表现相当，但泛化能力不如EXRM，尤其是在验证数据集存在分布偏移时。在五个分布外（out-of-distribution）设置中，DPORM的准确率平均下降3%，最大下降7%。这些发现表明DPORM的泛化能力有限，并证实了在迭代DPO方法中集成显式奖励模型的必要性。

🔬 方法详解

问题定义：论文旨在研究直接偏好优化（DPO）方法中，通过偏好数据隐式学习的奖励模型（DPORM）的泛化能力。现有方法，如RLHF，通常依赖于训练显式的奖励模型（EXRM）。DPO作为一种替代方案，通过优化策略来隐式地学习奖励，避免了显式奖励模型的训练过程。然而，DPORM的泛化能力，尤其是在面对分布偏移时，尚未得到充分研究，这限制了我们对DPO方法稳定性和可靠性的理解。

核心思路：论文的核心思路是通过实验对比DPORM和EXRM在区分人类偏好的准确性，特别是在分布外（out-of-distribution）的数据集上。通过观察两种模型在不同分布下的性能差异，来评估DPORM的泛化能力。如果DPORM的泛化能力较差，则意味着其在实际应用中可能不够稳定，需要考虑结合显式奖励模型来提升性能。

技术框架：论文的技术框架主要包括以下几个步骤：1) 使用DPO训练得到隐式奖励模型（DPORM）；2) 训练显式奖励模型（EXRM）；3) 在多个数据集上评估DPORM和EXRM区分首选答案和拒绝答案的准确性；4) 特别关注在分布外（out-of-distribution）数据集上的性能表现，分析DPORM的泛化能力。

关键创新：论文的关键创新在于对DPO中隐式奖励模型的泛化能力进行了实证研究，并揭示了其在分布偏移情况下泛化能力不足的问题。之前的研究主要关注DPORM在理论上对EXRM的近似能力，而本文则通过实验验证了DPORM在实际应用中的局限性。这一发现为改进DPO方法，例如结合显式奖励模型，提供了重要的依据。

关键设计：论文的关键设计包括：1) 选择了多个具有分布偏移的数据集，以评估模型的泛化能力；2) 使用准确率作为评估指标，衡量模型区分首选答案和拒绝答案的能力；3) 对比了DPORM和EXRM在相同训练数据下的性能，从而更清晰地揭示了DPORM的泛化问题。具体的参数设置和网络结构可能根据所使用的语言模型和数据集有所不同，但核心在于保证DPORM和EXRM在可比的条件下进行评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在五个分布外（out-of-distribution）设置中，DPORM的准确率平均下降3%，最大下降7%，而EXRM的性能相对稳定。这清晰地表明DPORM的泛化能力不如EXRM，尤其是在面对分布偏移时。该结果强调了在DPO等方法中考虑显式奖励模型的重要性。

🎯 应用场景

该研究成果对语言模型与人类偏好对齐具有重要意义。通过揭示DPO隐式奖励模型的局限性，为改进RLHF方法提供了指导，例如在迭代DPO过程中集成显式奖励模型，从而提高模型的稳定性和泛化能力。这有助于开发更可靠、更符合人类价值观的AI系统。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) is an effective approach for aligning language models to human preferences. Central to RLHF is learning a reward function for scoring human preferences. Two main approaches for learning a reward model are 1) training an EXplicit Reward Model (EXRM) as in RLHF, and 2) using an implicit reward learned from preference data through methods such as Direct Preference Optimization (DPO). Prior work has shown that the implicit reward model of DPO (denoted as DPORM) can approximate an EXRM in the limit. DPORM's effectiveness directly implies the optimality of the learned policy, and also has practical implication for LLM alignment methods including iterative DPO. However, it is unclear how well DPORM empirically matches the performance of EXRM. This work studies the accuracy at distinguishing preferred and rejected answers for both DPORM and EXRM. Our findings indicate that even though DPORM fits the training dataset comparably, it generalizes less effectively than EXRM, especially when the validation datasets contain distribution shifts. Across five out-of-distribution settings, DPORM has a mean drop in accuracy of 3% and a maximum drop of 7%. These findings highlight that DPORM has limited generalization ability and substantiates the integration of an explicit reward model in iterative DPO approaches.