Can RLHF be More Efficient with Imperfect Reward Models? A Policy Coverage Perspective
作者: Jiawei Huang, Bingcong Li, Christoph Dann, Niao He
分类: cs.LG, cs.AI, stat.ML
发布日期: 2025-02-26 (更新: 2025-05-18)
备注: 36 Pages; ICML 2025
💡 一句话要点
提出TPO算法，利用不完善奖励模型提升在线RLHF的样本效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 人类反馈强化学习 迁移学习 奖励模型 策略优化 样本效率
📋 核心要点
- 在线RLHF面临样本效率挑战，现有方法侧重探索策略，忽略了不完善奖励模型的知识迁移潜力。
- 论文提出TPO算法，基于策略覆盖率与次优性的关系，实现从不完善奖励模型的知识迁移。
- 实验表明，所提方法能有效提升摘要任务的性能，并可与现有策略优化方法集成。
📝 摘要（中文）
在线人类反馈强化学习(RLHF)中，样本效率至关重要。现有工作主要集中于研究高效的在线探索策略，而利用不完善但相关的奖励模型来加速学习的潜力尚未得到充分挖掘。本文研究了如何在在线RLHF中迁移这些不完善奖励模型的知识。首先，我们发现RLHF目标函数中KL正则化带来了一个新的特性：策略对最优策略的覆盖率由其次优性决定。基于此，我们提出了新的迁移学习原则和一个理论算法——迁移策略优化(TPO)，与标准在线学习相比，该算法具有可证明的优势。在实验中，受到理论发现的启发，我们开发了一种基于胜率的迁移策略选择策略，提高了计算效率。此外，我们的经验性迁移学习技术是模块化的，可以与各种策略优化方法（如DPO、IPO和XPO）集成，以进一步提高它们的性能。我们通过摘要任务的实验验证了该方法的有效性。
🔬 方法详解
问题定义：在线人类反馈强化学习（RLHF）中，样本效率是一个关键问题。现有的在线RLHF方法主要关注于设计高效的探索策略，以更快地学习到高质量的策略。然而，这些方法往往忽略了利用已有的、可能不完美的奖励模型来加速学习的可能性。这些不完美的奖励模型可能来自之前的训练数据、模拟环境或者其他相关任务，它们虽然不能完全准确地反映人类的偏好，但仍然包含一些有用的信息。如何有效地利用这些不完美的奖励模型，从而提高在线RLHF的样本效率，是本文要解决的核心问题。
核心思路：本文的核心思路是利用不完善的奖励模型来指导策略的探索和优化。论文的关键洞察在于，通过KL散度正则化的RLHF目标函数，策略对最优策略的覆盖率与其次优性之间存在一种内在的联系。具体来说，一个策略如果能够覆盖最优策略的大部分区域，那么它的次优性就会相对较低。因此，可以通过评估策略的次优性来衡量其对最优策略的覆盖程度，从而选择合适的策略进行迁移学习。
技术框架：论文提出的迁移策略优化（TPO）算法的整体框架如下：1. 奖励模型评估：利用已有的不完善奖励模型，评估当前策略的次优性。2. 策略选择：基于次优性评估结果，选择合适的策略进行迁移学习。3. 策略优化：利用在线收集的人类反馈数据，对选择的策略进行优化。该框架是模块化的，可以与各种现有的策略优化方法（如DPO、IPO和XPO）集成。
关键创新：论文的关键创新在于发现了RLHF目标函数中KL正则化带来的策略覆盖率与次优性之间的关系。基于这一发现，论文提出了新的迁移学习原则，并设计了TPO算法。与传统的在线学习方法相比，TPO算法能够更有效地利用不完善的奖励模型，从而提高样本效率。此外，论文还提出了一种基于胜率的迁移策略选择策略，提高了计算效率。
关键设计：TPO算法的关键设计包括：1. 次优性度量：论文使用奖励模型的预测值与真实奖励之间的差异来度量策略的次优性。2. 策略选择策略：论文提出了一种基于胜率的策略选择策略，该策略根据策略在与当前策略的对抗中的胜率来选择合适的策略进行迁移学习。3. KL散度正则化系数：KL散度正则化系数的设置会影响策略的探索和优化。论文建议根据具体的任务和奖励模型的质量来调整KL散度正则化系数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TPO算法在摘要任务上能够显著提高性能。例如，与DPO、IPO和XPO等基线方法相比，TPO算法能够更快地学习到高质量的策略，并且在相同的样本数量下，能够取得更高的奖励。此外，基于胜率的迁移策略选择策略能够有效地提高计算效率，使得TPO算法能够应用于更大规模的任务。
🎯 应用场景
该研究成果可广泛应用于需要人类反馈的强化学习任务中，例如对话系统、机器人控制、推荐系统等。通过利用已有的不完善奖励模型，可以显著减少在线学习所需的样本数量，降低学习成本，加速模型的训练过程。未来，该方法有望应用于更复杂的任务和更广泛的领域，例如自动驾驶、医疗诊断等。
📄 摘要（原文）
Sample efficiency is critical for online Reinforcement Learning from Human Feedback (RLHF). While existing works investigate sample-efficient online exploration strategies, the potential of utilizing misspecified yet relevant reward models to accelerate learning remains underexplored. This paper studies how to transfer knowledge from those imperfect reward models in online RLHF. We start by identifying a novel property due to KL-regularization in the RLHF objective: \emph{a policy's coverability of the optimal policy is captured by its sub-optimality}. Building on this insight, we propose novel transfer learning principles and a theoretical algorithm -- \emph{\textbf{T}ransfer \textbf{P}olicy \textbf{O}ptimization (\textbf{TPO})} -- with provable benefits compared to standard online learning. Empirically, inspired by our theoretical findings, we develop a win-rate-based transfer policy selection strategy with improved computational efficiency. Moreover, our empirical transfer learning technique is modular and can be integrated with various policy optimization methods, such as DPO, IPO and XPO, to further enhance their performance. We validate the effectiveness of our method through experiments on summarization tasks.