Towards Efficient Online Exploration for Reinforcement Learning with Human Feedback

📄 arXiv: 2509.22633v1 📥 PDF

作者: Gen Li, Yuling Yan

分类: stat.ML, cs.AI, cs.CL, cs.LG, math.ST

发布日期: 2025-09-26

💡 一句话要点

提出在线RLHF高效探索算法，解决奖励模型不确定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类反馈强化学习 在线学习 探索策略 奖励模型 多臂老虎机

📋 核心要点

  1. 现有基于乐观的RLHF探索算法在采样时存在缺陷，无法有效降低奖励差异的不确定性，导致线性遗憾。
  2. 论文提出一种新的探索方案，通过将偏好查询导向于减少与策略改进最相关的奖励差异不确定性，提升探索效率。
  3. 论文在多臂老虎机模型下证明了新算法的遗憾界为$T^{(β+1)/(β+2)}$，是首个遗憾界在所有模型参数中均呈多项式缩放的在线RLHF算法。

📝 摘要（中文）

本文研究了在线人类反馈强化学习(RLHF)中的探索原则，旨在自适应地收集新的偏好数据，以数据高效的方式改进奖励模型和策略。通过分析现有的基于乐观的探索算法，我们发现它们在采样协议中存在缺陷：倾向于收集无法有效减少奖励差异中最具信息量的不确定性的比较数据。我们证明了这类方法可能导致在指数级长的时间范围内产生线性遗憾。基于此，我们提出了一种新的探索方案，将偏好查询导向于减少与策略改进最相关的奖励差异中的不确定性。在RLHF的多臂老虎机模型下，我们建立了$T^{(β+1)/(β+2)}$阶的遗憾界，其中$β>0$是一个平衡奖励最大化和减轻分布偏移的超参数。据我们所知，这是第一个在线RLHF算法，其遗憾在所有模型参数中均呈多项式缩放。

🔬 方法详解

问题定义：论文旨在解决在线RLHF中如何高效探索的问题。现有的基于乐观的探索算法，例如UCB（Upper Confidence Bound）等，在RLHF场景下表现不佳，因为它们倾向于探索那些对策略改进帮助不大的奖励差异，导致数据利用率低，收敛速度慢，最终导致线性遗憾。

核心思路：论文的核心思路是，不是均匀地探索所有可能的状态-动作对，而是将探索的重点放在那些对策略改进影响最大的奖励差异上。具体来说，算法会优先选择那些能够最大程度减少与当前策略相关的奖励差异不确定性的偏好查询。这样可以更有效地利用人类反馈，更快地改进奖励模型和策略。

技术框架：论文将RLHF问题建模为多臂老虎机问题，其中每个臂代表一个状态-动作对。算法的主要流程如下：1）根据当前的奖励模型和策略，计算每个状态-动作对的奖励估计和不确定性；2）选择能够最大程度减少与策略改进相关的奖励差异不确定性的状态-动作对进行偏好查询；3）根据人类反馈更新奖励模型；4）根据更新后的奖励模型改进策略。这个过程不断迭代，直到达到收敛或达到预定的迭代次数。

关键创新：论文的关键创新在于提出了一种新的探索策略，该策略不是盲目地探索所有可能的状态-动作对，而是有针对性地探索那些对策略改进影响最大的奖励差异。这种策略能够更有效地利用人类反馈，更快地改进奖励模型和策略。与现有方法相比，该方法能够显著降低遗憾，提高学习效率。

关键设计：论文的关键设计包括：1）使用一个超参数$β$来平衡奖励最大化和减轻分布偏移。较大的$β$值会更加注重奖励最大化，而较小的$β$值会更加注重减轻分布偏移；2）设计了一种新的偏好查询选择策略，该策略能够最大程度减少与策略改进相关的奖励差异不确定性。具体的数学公式在论文中有详细描述，涉及到信息增益的计算和优化。

📊 实验亮点

论文在多臂老虎机模型下证明了所提出的算法的遗憾界为$T^{(β+1)/(β+2)}$，其中$β>0$是一个超参数。这是第一个在线RLHF算法，其遗憾在所有模型参数中均呈多项式缩放。这意味着该算法在理论上具有更好的收敛性和效率，尤其是在模型参数较多时。

🎯 应用场景

该研究成果可应用于各种需要人类反馈的强化学习任务中，例如大型语言模型的对齐、机器人控制、游戏AI等。通过更有效地利用人类反馈，可以显著降低训练成本，提高模型性能，并使AI系统更好地符合人类的价值观和偏好。未来，该方法有望推广到更复杂的RLHF场景中，例如具有连续状态和动作空间的环境。

📄 摘要（原文）

Reinforcement learning with human feedback (RLHF), which learns a reward model from human preference data and then optimizes a policy to favor preferred responses, has emerged as a central paradigm for aligning large language models (LLMs) with human preferences. In this paper, we investigate exploration principles for online RLHF, where one seeks to adaptively collect new preference data to refine both the reward model and the policy in a data-efficient manner. By examining existing optimism-based exploration algorithms, we identify a drawback in their sampling protocol: they tend to gather comparisons that fail to reduce the most informative uncertainties in reward differences, and we prove lower bounds showing that such methods can incur linear regret over exponentially long horizons. Motivated by this insight, we propose a new exploration scheme that directs preference queries toward reducing uncertainty in reward differences most relevant to policy improvement. Under a multi-armed bandit model of RLHF, we establish regret bounds of order $T^{(β+1)/(β+2)}$, where $β>0$ is a hyperparameter that balances reward maximization against mitigating distribution shift. To our knowledge, this is the first online RLHF algorithm with regret scaling polynomially in all model parameters.