Policy-labeled Preference Learning: Is Preference Enough for RLHF?

📄 arXiv: 2505.06273v2 📥 PDF

作者: Taehyun Cho, Seokhun Ju, Seungyub Han, Dohyeong Kim, Kyungjae Lee, Jungwoo Lee

分类: cs.LG, cs.AI

发布日期: 2025-05-06 (更新: 2025-05-13)

💡 一句话要点

提出政策标签偏好学习以解决RLHF中的偏好不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 人类反馈 偏好学习 政策优化 序列决策 对比正则化

📋 核心要点

  1. 现有的RLHF方法常常误解轨迹为最优策略生成，导致似然估计不准确和学习效果不佳。
  2. 本文提出政策标签偏好学习（PPL），通过反悔建模人类偏好，解决了似然不匹配的问题。
  3. 实验结果显示，PPL在高维连续控制任务中显著提升了离线RLHF的性能，并在在线环境中也表现出色。

📝 摘要（中文）

为了设计与人类目标一致的奖励，基于人类反馈的强化学习（RLHF）已成为从人类偏好中学习奖励函数并通过强化学习算法优化策略的主要技术。然而，现有的RLHF方法常常误解轨迹为由最优策略生成，导致不准确的似然估计和次优学习。受直接偏好优化框架的启发，本文提出政策标签偏好学习（PPL），通过用反悔建模人类偏好来解决似然不匹配问题。此外，我们提供了一种基于反悔原则的对比KL正则化，以增强RLHF在序列决策中的表现。在高维连续控制任务中的实验表明，PPL在离线RLHF性能上显著提升，并在在线设置中也表现出有效性。

🔬 方法详解

问题定义：本文旨在解决现有RLHF方法在轨迹理解上的不足，特别是误将非最优策略的轨迹视为最优策略，导致奖励学习不准确的问题。

核心思路：提出政策标签偏好学习（PPL），通过建模人类偏好的反悔来解决似然不匹配，避免了对奖励的显式依赖，从而直接优化策略。

技术框架：PPL的整体架构包括偏好建模模块和对比KL正则化模块，前者用于捕捉人类偏好，后者则增强了序列决策过程中的学习效果。

关键创新：PPL的核心创新在于通过反悔建模人类偏好，直接优化策略而不依赖于显式奖励，这与传统RLHF方法的本质区别在于对奖励的处理方式。

关键设计：在设计中，采用了基于反悔的损失函数，并引入了对比KL正则化，以增强模型在序列决策中的稳定性和有效性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果表明，PPL在高维连续控制任务中相比于传统RLHF方法，离线性能提升了显著的XX%（具体数据需根据实验结果填写），并且在在线设置中也表现出更好的稳定性和学习效率。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要人类反馈的强化学习场景。通过提高RLHF的学习效率和准确性，PPL有望在实际应用中实现更高的智能决策能力，推动人机协作的进步。

📄 摘要（原文）

To design rewards that align with human goals, Reinforcement Learning from Human Feedback (RLHF) has emerged as a prominent technique for learning reward functions from human preferences and optimizing policies via reinforcement learning algorithms. However, existing RLHF methods often misinterpret trajectories as being generated by an optimal policy, causing inaccurate likelihood estimation and suboptimal learning. Inspired by Direct Preference Optimization framework which directly learns optimal policy without explicit reward, we propose policy-labeled preference learning (PPL), to resolve likelihood mismatch issues by modeling human preferences with regret, which reflects behavior policy information. We also provide a contrastive KL regularization, derived from regret-based principles, to enhance RLHF in sequential decision making. Experiments in high-dimensional continuous control tasks demonstrate PPL's significant improvements in offline RLHF performance and its effectiveness in online settings.