Towards Reliable Alignment: Uncertainty-aware RLHF

📄 arXiv: 2410.23726v1 📥 PDF

作者: Debangshu Banerjee, Aditya Gopalan

分类: cs.AI, cs.LG

发布日期: 2024-10-31

💡 一句话要点

提出不确定性感知的RLHF方法，提升语言模型对齐的可靠性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 人类反馈 语言模型对齐 不确定性感知 奖励模型 策略优化 保守策略 风险规避

📋 核心要点

  1. 现有RLHF方法依赖于准确的奖励模型，但奖励模型通常基于小数据集训练，易受变异性影响。
  2. 论文提出一种不确定性感知的保守策略优化算法，使策略对不确定奖励更加谨慎，降低过拟合风险。
  3. 实验通过奖励模型集成验证了该方法的有效性，结果表明该方法与理论预测一致，提升了对齐的可靠性。

📝 摘要（中文）

为了提升大型语言模型与人类偏好对齐的可靠性，本文研究了奖励模型不确定性对强化学习与人类反馈（RLHF）的影响。研究表明，基于随机优化算法和少量数据训练的奖励模型存在高变异性，导致策略过度拟合奖励模型，从而增加对齐风险。为此，本文提出了一种不确定性感知的保守策略优化算法，该算法对不确定奖励更加谨慎。理论分析证明，该方法比传统方法风险更低。通过构建奖励模型集成，实验验证了该方法在语言模型对齐上的有效性，实验结果与理论预测相符。

🔬 方法详解

问题定义：现有RLHF方法在对齐大型语言模型时，严重依赖奖励模型的准确性。然而，奖励模型通常使用小规模数据集和随机优化算法进行训练，这使得它们容易出现高方差和不确定性。这种不确定性会导致策略过度拟合奖励模型，从而降低对齐的可靠性，甚至产生负面影响。因此，如何降低奖励模型不确定性对RLHF的影响，是本文要解决的核心问题。

核心思路：本文的核心思路是引入不确定性感知机制，在策略优化过程中考虑奖励模型的不确定性。具体来说，通过构建奖励模型集成来估计奖励的不确定性，并设计一种保守的策略优化算法，使得策略在选择动作时更加谨慎，避免过度依赖不确定的奖励信号。这种方法旨在降低策略对奖励模型噪声的敏感性，从而提高对齐的鲁棒性和可靠性。

技术框架：该方法的技术框架主要包括以下几个步骤：1) 构建奖励模型集成：使用不同的初始化或训练数据训练多个奖励模型，形成一个集成。2) 估计奖励不确定性：利用奖励模型集成的输出，计算奖励的均值和方差，从而估计奖励的不确定性。3) 保守策略优化：在策略优化过程中，引入一个惩罚项，该惩罚项与奖励的不确定性成正比。这样，策略在选择动作时，会更加倾向于选择那些奖励确定性较高的动作，从而降低对不确定奖励的依赖。4) 策略更新：使用优化算法（如PPO）更新策略参数。

关键创新：该论文的关键创新在于提出了一种不确定性感知的RLHF方法，该方法通过构建奖励模型集成来估计奖励的不确定性，并设计了一种保守的策略优化算法，使得策略在选择动作时更加谨慎。与传统的RLHF方法相比，该方法能够更好地应对奖励模型的不确定性，从而提高对齐的鲁棒性和可靠性。

关键设计：在奖励模型集成方面，可以使用不同的初始化、训练数据或模型结构来构建集成。在保守策略优化方面，关键在于设计合适的惩罚项，该惩罚项需要能够有效地降低策略对不确定奖励的依赖，同时又不会过度限制策略的探索能力。一种常用的方法是使用奖励方差作为惩罚项，并引入一个超参数来控制惩罚的强度。损失函数可以设计为：L = E[R(s, a) - β * Var(R(s, a))]，其中R(s, a)是奖励，Var(R(s, a))是奖励的方差，β是超参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用该方法训练的语言模型在对齐任务上表现更好，能够更准确地反映人类偏好。具体来说，通过构建包含多个奖励模型的集成，并使用不确定性感知的策略优化算法，该方法能够显著降低策略对奖励模型噪声的敏感性，从而提高对齐的鲁棒性和可靠性。实验数据表明，该方法在多个开放数据集上均取得了优于传统RLHF方法的性能。

🎯 应用场景

该研究成果可应用于各种需要与人类偏好对齐的语言模型任务，例如对话生成、文本摘要、代码生成等。通过提高对齐的可靠性，可以减少模型产生有害或不符合人类价值观的内容，从而提升用户体验和社会效益。此外，该方法还可以推广到其他强化学习领域，例如机器人控制、游戏AI等，以提高智能体的鲁棒性和安全性。

📄 摘要（原文）

Recent advances in aligning Large Language Models with human preferences have benefited from larger reward models and better preference data. However, most of these methodologies rely on the accuracy of the reward model. The reward models used in Reinforcement Learning with Human Feedback (RLHF) are typically learned from small datasets using stochastic optimization algorithms, making them prone to high variability. We illustrate the inconsistencies between reward models empirically on numerous open-source datasets. We theoretically show that the fluctuation of the reward models can be detrimental to the alignment problem because the derived policies are more overfitted to the reward model and, hence, are riskier if the reward model itself is uncertain. We use concentration of measure to motivate an uncertainty-aware, conservative algorithm for policy optimization. We show that such policies are more risk-averse in the sense that they are more cautious of uncertain rewards. We theoretically prove that our proposed methodology has less risk than the vanilla method. We corroborate our theoretical results with experiments based on designing an ensemble of reward models. We use this ensemble of reward models to align a language model using our methodology and observe that our empirical findings match our theoretical predictions.