Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment

📄 arXiv: 2510.05526v2 📥 PDF

作者: Ziyi Chen, Junyi Li, Peiran Yu, Heng Huang

分类: cs.LG, cs.AI

发布日期: 2025-10-07 (更新: 2025-12-09)

备注: Edited a few incorrect numbers in Tables 2 and 3

💡 一句话要点

提出RLHF-COV和DPO-COV算法，同时缓解离线和在线RLHF/DPO对齐中的数据污染、过度优化和冗余问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 大型语言模型 偏好优化 数据污染

📋 核心要点

  1. 现有RLHF/DPO方法在对齐LLM时，常受数据污染、过度优化和冗余信息干扰，影响模型质量。
  2. 论文提出RLHF-COV和DPO-COV算法，通过长度正则化等手段，同时缓解上述三个问题。
  3. 实验表明，DPO-COV算法在离线和在线设置下均有效，且理论分析表明其泛化能力有保证。

📝 摘要（中文）

强化学习从人类反馈（RLHF）和直接偏好优化（DPO）是使大型语言模型（LLM）与人类偏好对齐的重要技术。然而，RLHF和DPO训练的质量受到 extit{ extbf{污染的}}偏好、奖励 extit{ extbf{过度优化}}以及对 extit{ extbf{冗余}}的偏见等问题的严重影响。据我们所知，现有的大多数工作仅解决这些重要问题中的一个，而少数其他工作需要大量的计算来估计多个奖励模型，并且缺乏泛化能力的理论保证。在这项工作中，我们提出了RLHF- extbf{COV}和DPO- extbf{COV}算法，可以在离线和在线设置中同时缓解这三个问题。通过获得在污染数据上训练的DPO-COV算法的长度正则化泛化误差率，理论上证明了这种能力，该误差率与在干净数据且没有长度正则化的更简单情况下的最佳已知误差率相匹配。此外，我们的DPO-COV算法易于实现，无需奖励估计，并且被证明等同于我们的RLHF-COV算法，这直接意味着vanilla RLHF和DPO算法之间的等价性。实验证明了我们的DPO-COV算法在离线和在线设置下的有效性。

🔬 方法详解

问题定义：现有RLHF和DPO方法在将大型语言模型与人类偏好对齐时，面临三个主要问题：一是偏好数据可能被污染（Corrupted preference），导致模型学习到错误的偏好；二是奖励模型可能被过度优化（Overoptimization），导致模型生成的结果过于迎合奖励，而忽略了其他重要因素；三是模型可能倾向于生成冗余（Verbosity）的文本，影响用户体验。现有方法通常只关注其中一个问题，或者需要大量的计算资源来估计多个奖励模型，并且缺乏理论上的泛化能力保证。

核心思路：论文的核心思路是通过引入长度正则化项，并结合理论分析，设计出能够同时缓解数据污染、过度优化和冗余问题的RLHF-COV和DPO-COV算法。长度正则化可以惩罚过长的输出，从而抑制冗余。同时，通过理论分析，证明了即使在数据被污染的情况下，算法仍然具有良好的泛化能力。

技术框架：论文提出了RLHF-COV和DPO-COV两种算法，分别对应于基于奖励模型的RLHF和直接偏好优化的DPO。DPO-COV算法无需估计奖励模型，直接优化策略，降低了计算复杂度。整体流程包括：收集人类偏好数据，使用DPO-COV算法训练语言模型，评估模型性能。

关键创新：论文的关键创新在于提出了能够同时解决数据污染、过度优化和冗余问题的RLHF-COV和DPO-COV算法。与现有方法相比，该方法不需要估计多个奖励模型，计算复杂度更低，并且具有理论上的泛化能力保证。此外，论文还证明了RLHF-COV和DPO-COV算法的等价性，以及vanilla RLHF和DPO算法的等价性。

关键设计：DPO-COV算法的关键设计在于损失函数中引入了长度正则化项。具体来说，损失函数可以表示为：loss = -log(sigmoid(beta * (reward(x_w) - reward(x_l)))) + lambda * length(x_w)，其中x_w和x_l分别表示胜者和败者的文本，reward表示奖励函数，beta是温度参数，lambda是长度正则化系数，length表示文本长度。通过调整lambda的值，可以控制对冗余的惩罚力度。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，DPO-COV算法在离线和在线设置下均能有效缓解数据污染、过度优化和冗余问题。理论分析表明，即使在数据被污染的情况下，DPO-COV算法仍然具有良好的泛化能力，其长度正则化泛化误差率与在干净数据且没有长度正则化的更简单情况下的最佳已知误差率相匹配。具体性能提升数据未知。

🎯 应用场景

该研究成果可应用于各种需要与人类偏好对齐的大型语言模型应用场景，例如智能助手、对话系统、文本生成等。通过缓解数据污染、过度优化和冗余问题，可以提高模型的安全性、可靠性和用户体验，并降低模型训练的成本。未来，该方法可以进一步推广到其他类型的强化学习任务中。

📄 摘要（原文）

Reinforcement learning from human feedback (RLHF) and direct preference optimization (DPO) are important techniques to align large language models (LLM) with human preference. However, the quality of RLHF and DPO training is seriously compromised by \textit{\textbf{C}orrupted} preference, reward \textit{\textbf{O}veroptimization}, and bias towards \textit{\textbf{V}erbosity}. To our knowledge, most existing works tackle only one of these important issues, and the few other works require much computation to estimate multiple reward models and lack theoretical guarantee of generalization ability. In this work, we propose RLHF-\textbf{COV} and DPO-\textbf{COV} algorithms that can simultaneously mitigate these three issues, in both offline and online settings. This ability is theoretically demonstrated by obtaining length-regularized generalization error rates for our DPO-COV algorithms trained on corrupted data, which match the best-known rates for simpler cases with clean data and without length regularization. Moreover, our DPO-COV algorithm is simple to implement without reward estimation, and is proved to be equivalent to our RLHF-COV algorithm, which directly implies the equivalence between the vanilla RLHF and DPO algorithms. Experiments demonstrate the effectiveness of our DPO-COV algorithms under both offline and online settings.