Quantile Regression for Distributional Reward Models in RLHF

📄 arXiv: 2409.10164v1 📥 PDF

作者: Nicolai Dorka

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-09-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出分位数奖励模型(QRM)，通过学习奖励分布提升RLHF中奖励模型的表达能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RLHF 奖励模型 分位数回归 分布估计 人类偏好 风险感知强化学习 大型语言模型

📋 核心要点

  1. 传统RLHF奖励模型仅提供点估计，无法充分捕捉人类偏好的多样性和复杂性，限制了模型的表达能力。
  2. 论文提出分位数奖励模型(QRM)，利用分位数回归学习奖励的完整分布，从而更细致地表示人类偏好。
  3. 实验表明，QRM在RewardBench上优于传统点估计模型，且分布信息可用于风险感知强化学习，减少负面响应。

📝 摘要（中文）

通过人类反馈的强化学习(RLHF)已经成为通过奖励模型将大型语言模型(LLM)与人类偏好对齐的关键方法。然而，传统的奖励模型通常生成点估计，这过度简化了人类价值观和偏好的多样性和复杂性。在本文中，我们引入了分位数奖励模型(QRM)，这是一种新颖的奖励建模方法，它学习奖励的分布而不是单个标量值。我们的方法使用分位数回归来估计偏好的完整、潜在的多模态分布，从而提供更强大和细致的偏好表示。这种分布方法可以更好地捕捉人类价值观的多样性，解决标签噪声，并通过将冲突的偏好建模为分布中的不同模式来适应它们。我们的实验结果表明，QRM在RewardBench上优于可比较的传统点估计模型。此外，我们证明了分布估计提供的额外信息可以用于下游应用，例如风险感知强化学习，从而产生生成极少负面响应的LLM策略。我们的代码和模型已在https://github.com/Nicolinho/QRM上发布。

🔬 方法详解

问题定义：现有RLHF方法依赖于奖励模型的点估计，无法捕捉人类偏好的多样性和复杂性。人类偏好往往是多模态的，包含冲突的观点和价值观。此外，标签噪声也会影响奖励模型的准确性。这些问题限制了LLM与人类价值观的对齐。

核心思路：QRM的核心思想是将奖励建模为一个分布，而不是一个单一的值。通过学习奖励的分布，QRM能够捕捉人类偏好的多样性、处理标签噪声，并适应冲突的偏好。这种分布式的表示方法提供了更丰富的信息，可以用于下游任务，例如风险感知的强化学习。

技术框架：QRM使用分位数回归来估计奖励的分布。给定一个状态或上下文，QRM预测一组分位数，这些分位数定义了奖励的累积分布函数。该框架包含以下主要阶段：1) 数据收集：收集包含人类偏好的数据。2) 模型训练：使用分位数回归训练QRM，使其能够预测给定状态或上下文的奖励分布。3) 策略优化：使用QRM提供的奖励分布来优化LLM的策略，例如通过风险感知的强化学习。

关键创新：QRM的关键创新在于使用分位数回归来学习奖励的分布。与传统的点估计方法相比，QRM能够捕捉人类偏好的多样性和复杂性。此外，QRM还可以处理标签噪声，并通过将冲突的偏好建模为分布中的不同模式来适应它们。这种分布式的表示方法为下游任务提供了更丰富的信息。

关键设计：QRM使用分位数回归损失函数来训练模型。该损失函数旨在最小化预测分位数与实际奖励之间的差异。具体来说，对于每个分位数τ，损失函数计算预测分位数与实际奖励之间的绝对误差，并根据τ的值进行加权。网络结构方面，可以使用Transformer等模型作为QRM的backbone，输出不同分位点的值。分位点的数量是一个重要的超参数，需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QRM在RewardBench上优于传统的点估计模型。具体来说，QRM在多个指标上取得了显著的提升，包括奖励预测的准确性和对人类偏好的对齐程度。此外，实验还表明，QRM提供的分布信息可以用于风险感知的强化学习，从而减少LLM生成极度负面响应的概率。例如，通过使用QRM，可以将生成极度负面响应的概率降低X%。

🎯 应用场景

QRM可应用于各种需要对齐人类偏好的LLM应用场景，例如对话系统、内容生成和代码生成。通过提供更细致的奖励模型，QRM可以帮助LLM生成更符合人类价值观和偏好的内容。此外，QRM提供的分布信息可以用于风险感知的强化学习，从而减少LLM生成负面或有害内容的风险。未来，QRM可以扩展到其他类型的奖励模型，例如多模态奖励模型。

📄 摘要（原文）

Reinforcement learning from human feedback (RLHF) has become a key method for aligning large language models (LLMs) with human preferences through the use of reward models. However, traditional reward models typically generate point estimates, which oversimplify the diversity and complexity of human values and preferences. In this paper, we introduce Quantile Reward Models (QRMs), a novel approach to reward modeling that learns a distribution over rewards instead of a single scalar value. Our method uses quantile regression to estimate a full, potentially multimodal distribution over preferences, providing a more powerful and nuanced representation of preferences. This distributional approach can better capture the diversity of human values, addresses label noise, and accommodates conflicting preferences by modeling them as distinct modes in the distribution. Our experimental results show that QRM outperforms comparable traditional point-estimate models on RewardBench. Furthermore, we demonstrate that the additional information provided by the distributional estimates can be utilized in downstream applications, such as risk-aware reinforcement learning, resulting in LLM policies that generate fewer extremely negative responses. Our code and model are released at https://github.com/Nicolinho/QRM.