RLHF Workflow: From Reward Modeling to Online RLHF

📄 arXiv: 2405.07863v3 📥 PDF

作者: Hanze Dong, Wei Xiong, Bo Pang, Haoxiang Wang, Han Zhao, Yingbo Zhou, Nan Jiang, Doyen Sahoo, Caiming Xiong, Tong Zhang

分类: cs.LG, cs.AI, cs.CL, stat.ML

发布日期: 2024-05-13 (更新: 2024-11-12)

备注: Published in Transactions on Machine Learning Research (09/2024)

🔗 代码/项目: GITHUB | GITHUB

💡 一句话要点

提出在线迭代RLHF流程，提升大型语言模型在聊天机器人基准测试中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线RLHF 人类反馈强化学习 大型语言模型 偏好模型 开源数据集

📋 核心要点

  1. 现有开源RLHF项目主要集中于离线学习，无法充分利用在线反馈的优势。
  2. 论文提出使用代理偏好模型近似人工反馈，实现可复现的在线迭代RLHF流程。
  3. 实验表明，该方法在多个LLM基准测试中表现出色，并开源了模型、数据和代码。

📝 摘要（中文）

本技术报告介绍了在线迭代人类反馈强化学习（RLHF）的工作流程，该方法在最近的大型语言模型（LLM）文献中被广泛报道，其性能大大优于离线方法。然而，现有的开源RLHF项目主要局限于离线学习环境。本技术报告旨在填补这一空白，并提供一个易于复现的在线迭代RLHF的详细方案。特别地，由于在线人工反馈对于资源有限的开源社区通常是不可行的，我们首先使用多样化的开源数据集构建偏好模型，并使用构建的代理偏好模型来近似人工反馈。然后，我们讨论了在线迭代RLHF背后的理论见解和算法原理，并详细介绍了实际实现。我们训练的LLM在LLM聊天机器人基准测试（包括AlpacaEval-2、Arena-Hard和MT-Bench）以及其他学术基准测试（如HumanEval和TruthfulQA）上取得了令人印象深刻的性能。我们已经表明，监督微调（SFT）和迭代RLHF可以使用完全开源的数据集获得最先进的性能。此外，我们已经公开了我们的模型、精选数据集和全面的逐步代码指南。

🔬 方法详解

问题定义：现有开源RLHF项目主要集中于离线学习，无法充分利用在线反馈的优势。在线RLHF通常需要大量的人工标注，这对于资源有限的开源社区来说是不可行的。因此，需要一种能够在开源环境下实现高效在线RLHF的方法。

核心思路：论文的核心思路是使用代理偏好模型来近似人工反馈，从而在没有大量人工标注的情况下实现在线迭代RLHF。通过使用多样化的开源数据集训练偏好模型，可以模拟人类的偏好，并将其用于指导强化学习过程。

技术框架：整体流程包括以下几个主要阶段：1) 使用开源数据集训练监督微调（SFT）模型；2) 使用SFT模型生成数据，并使用这些数据训练奖励模型（偏好模型）；3) 使用奖励模型作为代理反馈，进行在线强化学习，优化LLM的策略；4) 迭代上述过程，不断提升LLM的性能。

关键创新：关键创新在于使用代理偏好模型来替代真实的人工反馈，从而降低了在线RLHF的成本和难度。此外，论文还详细介绍了在线迭代RLHF的理论基础和算法原理，并提供了一个易于复现的实现方案。

关键设计：奖励模型的设计至关重要，需要选择合适的模型结构和训练数据，以确保其能够准确地反映人类的偏好。在线强化学习过程中，需要仔细调整奖励函数的权重和学习率，以避免模型崩溃或过度优化。论文开源了详细的代码和参数设置，方便其他研究者复现和改进。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用该方法训练的LLM在AlpacaEval-2、Arena-Hard、MT-Bench、HumanEval和TruthfulQA等多个基准测试中取得了令人印象深刻的性能。该方法证明了通过监督微调（SFT）和迭代RLHF，可以使用完全开源的数据集获得最先进的性能。

🎯 应用场景

该研究成果可应用于各种需要与人类交互的LLM应用场景，如聊天机器人、智能助手、内容生成等。通过在线迭代RLHF，可以不断提升LLM的性能和用户体验，使其更好地满足用户的需求。该方法降低了在线RLHF的门槛，促进了LLM在开源社区的广泛应用。

📄 摘要（原文）

We present the workflow of Online Iterative Reinforcement Learning from Human Feedback (RLHF) in this technical report, which is widely reported to outperform its offline counterpart by a large margin in the recent large language model (LLM) literature. However, existing open-source RLHF projects are still largely confined to the offline learning setting. In this technical report, we aim to fill in this gap and provide a detailed recipe that is easy to reproduce for online iterative RLHF. In particular, since online human feedback is usually infeasible for open-source communities with limited resources, we start by constructing preference models using a diverse set of open-source datasets and use the constructed proxy preference model to approximate human feedback. Then, we discuss the theoretical insights and algorithmic principles behind online iterative RLHF, followed by a detailed practical implementation. Our trained LLM achieves impressive performance on LLM chatbot benchmarks, including AlpacaEval-2, Arena-Hard, and MT-Bench, as well as other academic benchmarks such as HumanEval and TruthfulQA. We have shown that supervised fine-tuning (SFT) and iterative RLHF can obtain state-of-the-art performance with fully open-source datasets. Further, we have made our models, curated datasets, and comprehensive step-by-step code guidebooks publicly available. Please refer to https://github.com/RLHFlow/RLHF-Reward-Modeling and https://github.com/RLHFlow/Online-RLHF for more detailed information.