Efficient Exploration at Scale

📄 arXiv: 2603.17378v1 📥 PDF

作者: Seyed Mohammad Asghari, Chris Chute, Vikranth Dwaracherla, Xiuyuan Lu, Mehdi Jafarnia, Victor Minden, Zheng Wen, Benjamin Van Roy

分类: cs.LG, cs.AI

发布日期: 2026-03-18

💡 一句话要点

提出一种高效在线强化学习算法，利用少量人工反馈数据显著提升LLM性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 在线学习 数据效率 大型语言模型 信息导向探索 奖励模型

📋 核心要点

  1. 现有RLHF方法需要大量人工标注数据，成本高昂且效率低下，限制了其应用范围。
  2. 该论文提出一种在线学习算法，通过增量更新奖励和语言模型，并结合信息导向探索来提升数据效率。
  3. 实验表明，该算法使用Gemma LLM时，数据效率提升高达1000倍，显著优于离线RLHF方法。

📝 摘要（中文）

本文提出了一种在线学习算法，该算法显著提高了从人类反馈中进行强化学习（RLHF）的数据效率。该算法随着选择数据的接收，增量更新奖励模型和语言模型。奖励模型拟合选择数据，而语言模型通过一种REINFORCE的变体进行更新，强化信号由奖励模型提供。多种特性实现了效率提升：添加到每个强化信号中的小的肯定性推动、对奖励不确定性进行建模的认知神经网络以及信息导向的探索。使用Gemma大型语言模型（LLM），我们的算法使用少于20K的标签匹配了在200K标签上训练的离线RLHF的性能，代表了超过10倍的数据效率提升。从我们的结果推断，我们预计我们的算法在1M标签上训练可以匹配在1B标签上训练的离线RLHF。这代表了1000倍的提升。据我们所知，这些是第一个证明如此大的改进是可能的结果。

🔬 方法详解

问题定义：论文旨在解决RLHF中数据效率低下的问题。传统的离线RLHF方法需要大量的标注数据来训练奖励模型，这使得训练成本非常高昂，并且限制了其在实际场景中的应用。因此，如何利用更少的数据达到甚至超过现有方法的性能，是本文要解决的核心问题。

核心思路：论文的核心思路是在线学习和信息导向探索。通过在线学习，模型可以随着数据的接收不断更新，避免了离线学习需要大量预先标注数据的需求。信息导向探索则鼓励模型探索那些奖励不确定性高的区域，从而更有效地学习奖励函数。

技术框架：整体框架包含奖励模型和语言模型两个主要模块。奖励模型用于预测给定文本的奖励值，语言模型则负责生成文本。算法流程如下：首先，人类提供选择数据（例如，对两个生成的文本进行排序）。然后，奖励模型根据选择数据进行更新。接着，语言模型使用奖励模型提供的强化信号进行更新，目标是生成更高奖励的文本。此外，算法还包含一个信息导向探索机制，用于选择下一个需要人类标注的数据。

关键创新：论文的关键创新在于以下几点：1) 小的肯定性推动：在强化信号中加入一个小的肯定性推动，鼓励模型生成更积极的文本。2) 认知神经网络：使用认知神经网络来建模奖励的不确定性，从而实现信息导向探索。3) 信息导向探索：根据奖励的不确定性选择下一个需要标注的数据，从而更有效地利用人工标注数据。

关键设计：奖励模型采用神经网络结构，损失函数基于选择数据的排序损失。语言模型使用REINFORCE算法的变体进行更新，强化信号由奖励模型提供。信息导向探索机制基于奖励不确定性的估计，选择不确定性最高的样本进行标注。小的肯定性推动是一个超参数，需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该算法在使用Gemma LLM时，仅使用20K的标签就达到了在200K标签上训练的离线RLHF的性能，数据效率提升超过10倍。进一步推断，使用1M标签训练的该算法有望达到在1B标签上训练的离线RLHF的性能，数据效率提升高达1000倍。

🎯 应用场景

该研究成果可广泛应用于各种需要人工反馈的强化学习任务中，例如对话系统、文本生成、代码生成等。通过显著提升数据效率，降低了训练成本，使得RLHF方法能够更容易地应用于实际场景，并加速人工智能技术的发展。

📄 摘要（原文）

We develop an online learning algorithm that dramatically improves the data efficiency of reinforcement learning from human feedback (RLHF). Our algorithm incrementally updates reward and language models as choice data is received. The reward model is fit to the choice data, while the language model is updated by a variation of reinforce, with reinforcement signals provided by the reward model. Several features enable the efficiency gains: a small affirmative nudge added to each reinforcement signal, an epistemic neural network that models reward uncertainty, and information-directed exploration. With Gemma large language models (LLMs), our algorithm matches the performance of offline RLHF trained on 200K labels using fewer than 20K labels, representing more than a 10x gain in data efficiency. Extrapolating from our results, we expect our algorithm trained on 1M labels to match offline RLHF trained on 1B labels. This represents a 1,000x gain. To our knowledge, these are the first results to demonstrate that such large improvements are possible.