Reward Model Ensembles Help Mitigate Overoptimization
作者: Thomas Coste, Usman Anwar, Robert Kirk, David Krueger
分类: cs.LG
发布日期: 2023-10-04 (更新: 2024-03-10)
备注: Accepted at ICLR 2024
💡 一句话要点
提出集成奖励模型以解决过度优化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 人类反馈 奖励模型 过度优化 保守优化 集成学习 自然语言处理
📋 核心要点
- 现有的奖励模型在表示人类偏好时存在不足，导致过度优化现象严重，影响模型性能。
- 本文提出使用集成奖励模型结合保守优化目标，以应对奖励模型的过度优化问题。
- 实验结果显示，集成保守优化显著降低了过度优化现象，并在 BoN 采样中提升性能达 70%。
📝 摘要（中文）
强化学习中的人类反馈（RLHF）是微调大型语言模型以遵循指令的标准方法。在这一过程中，学习到的奖励模型用于近似建模人类偏好。然而，由于这些模型对“真实”奖励的 imperfect 表示，它们容易受到过度优化的影响。Gao 等（2023）研究了这一现象，并发现无论代理奖励模型和训练数据的大小，过度优化始终是一个持续存在的问题。本文通过系统研究，评估了基于集成的保守优化目标（如最坏情况优化和不确定性加权优化）在减轻奖励模型过度优化中的有效性。实验结果表明，保守优化在减少过度优化方面表现出色，且在 BoN 采样中性能提升可达 70%。
🔬 方法详解
问题定义：本文旨在解决强化学习中奖励模型的过度优化问题。现有方法在使用不完美的代理奖励模型时，容易导致模型在训练过程中过度拟合这些奖励，进而影响最终性能。
核心思路：论文提出通过集成奖励模型和保守优化目标（如最坏情况优化和不确定性加权优化）来减轻过度优化的影响。通过这种方式，模型能够更好地应对不确定性和噪声，从而提高性能。
技术框架：研究采用了与 Gao 等（2023）相似的实验设置，增加了 25% 的标签噪声以更真实地模拟现实情况。主要模块包括奖励模型的训练、保守优化目标的实现以及性能评估。
关键创新：最重要的技术创新在于引入集成奖励模型与保守优化目标的结合，显著提高了模型在面对不确定性时的鲁棒性，与传统单一奖励模型优化方法相比，表现出更好的性能。
关键设计：在实验中，采用了最佳采样（BoN）和近端策略优化（PPO）两种优化方法，并结合小的 KL 惩罚以防止过度优化，同时保持性能不受损失。
🖼️ 关键图片
📊 实验亮点
实验结果表明，集成保守优化在 BoN 采样中能够将过度优化现象几乎消除，性能提升可达 70%。对于 PPO 方法，集成优化始终降低过度优化，并且在性能上优于单一奖励模型优化。此外，结合小的 KL 惩罚后，模型在不损失性能的情况下有效防止了过度优化。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和人机交互等场景，能够有效提升模型在复杂环境中的表现。通过减轻过度优化问题，模型在实际应用中将更好地遵循人类偏好，提升用户体验。未来，该方法有望推广至其他领域的强化学习任务。
📄 摘要（原文）
Reinforcement learning from human feedback (RLHF) is a standard approach for fine-tuning large language models to follow instructions. As part of this process, learned reward models are used to approximately model human preferences. However, as imperfect representations of the "true" reward, these learned reward models are susceptible to overoptimization. Gao et al. (2023) studied this phenomenon in a synthetic human feedback setup with a significantly larger "gold" reward model acting as the true reward (instead of humans) and showed that overoptimization remains a persistent problem regardless of the size of the proxy reward model and training data used. Using a similar setup, we conduct a systematic study to evaluate the efficacy of using ensemble-based conservative optimization objectives, specifically worst-case optimization (WCO) and uncertainty-weighted optimization (UWO), for mitigating reward model overoptimization when using two optimization methods: (a) best-of-n sampling (BoN) (b) proximal policy optimization (PPO). We additionally extend the setup of Gao et al. (2023) to include 25% label noise to better mirror real-world conditions. Both with and without label noise, we find that conservative optimization practically eliminates overoptimization and improves performance by up to 70% for BoN sampling. For PPO, ensemble-based conservative optimization always reduces overoptimization and outperforms single reward model optimization. Moreover, combining it with a small KL penalty successfully prevents overoptimization at no performance cost. Overall, our results demonstrate that ensemble-based conservative optimization can effectively counter overoptimization.