Efficient Preference-based Reinforcement Learning via Aligned Experience Estimation

📄 arXiv: 2405.18688v1 📥 PDF

作者: Fengshuo Bai, Rui Zhao, Hongming Zhang, Sijia Cui, Ying Wen, Yaodong Yang, Bo Xu, Lei Han

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-05-29

💡 一句话要点

提出SEER以提高偏好强化学习的反馈效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好强化学习 人类反馈 标签平滑 策略正则化 Q值估计 智能体训练 反馈效率

📋 核心要点

  1. 偏好强化学习对大量人类反馈的依赖限制了其在实际应用中的效率和可行性。
  2. 提出的SEER方法通过标签平滑和策略正则化来提高反馈效率，减少对人类反馈的需求。
  3. 实验结果显示，SEER在多种复杂任务中显著提升了学习效率，超越了现有的最先进方法。

📝 摘要（中文）

偏好强化学习（PbRL）在无需奖励工程的情况下展现了出色的能力，但其对大量人类反馈的依赖是一个显著的限制。为了解决这一问题，本文提出了一种高效的PbRL方法SEER，结合了标签平滑和策略正则化技术。标签平滑通过平滑人类偏好标签来减少奖励模型的过拟合。同时，利用当前重放记忆中的状态-动作对引导保守估计$ ext{Q}$，以减轻过高估计偏差，并将其用于策略学习正则化。实验结果表明，SEER在多种复杂任务中提高了反馈效率，显著超越了现有最先进的方法。消融研究进一步表明，SEER在Q函数的准确性上优于以往工作。

🔬 方法详解

问题定义：偏好强化学习（PbRL）在训练智能体时依赖大量人类反馈，导致学习效率低下，现有方法在反馈利用上存在显著不足。

核心思路：本文提出的SEER方法通过引入标签平滑和策略正则化技术，旨在提高反馈效率，减少对人类反馈的需求。标签平滑有助于减少奖励模型的过拟合，而策略正则化则通过保守估计来改善策略学习。

技术框架：SEER的整体架构包括两个主要模块：首先是标签平滑模块，通过对人类偏好标签进行平滑处理来增强奖励模型的泛化能力；其次是策略正则化模块，利用当前重放记忆中的状态-动作对来生成保守的Q值估计，以减轻过高估计偏差。

关键创新：SEER的核心创新在于结合了标签平滑和保守Q值估计的策略正则化，这一设计显著提高了学习效率，克服了传统PbRL方法的局限性。

关键设计：在设计中，标签平滑的具体实现通过调整人类偏好标签的分布来减少过拟合，而保守Q值的估计则依赖于重放记忆中高支持度的状态-动作对，确保了策略学习的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SEER在多种复杂任务中显著提高了反馈效率，相较于现有最先进方法，性能提升幅度达到XX%（具体数据待补充）。消融实验进一步验证了SEER在Q函数准确性上的优势，显示出其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等，能够在无需复杂奖励设计的情况下，通过人类反馈快速训练高效的智能体。未来，SEER方法可能推动PbRL在更多实际场景中的应用，提升智能体的学习效率和适应能力。

📄 摘要（原文）

Preference-based reinforcement learning (PbRL) has shown impressive capabilities in training agents without reward engineering. However, a notable limitation of PbRL is its dependency on substantial human feedback. This dependency stems from the learning loop, which entails accurate reward learning compounded with value/policy learning, necessitating a considerable number of samples. To boost the learning loop, we propose SEER, an efficient PbRL method that integrates label smoothing and policy regularization techniques. Label smoothing reduces overfitting of the reward model by smoothing human preference labels. Additionally, we bootstrap a conservative estimate $\widehat{Q}$ using well-supported state-action pairs from the current replay memory to mitigate overestimation bias and utilize it for policy learning regularization. Our experimental results across a variety of complex tasks, both in online and offline settings, demonstrate that our approach improves feedback efficiency, outperforming state-of-the-art methods by a large margin. Ablation studies further reveal that SEER achieves a more accurate Q-function compared to prior work.