SuperHF: Supervised Iterative Learning from Human Feedback

📄 arXiv: 2310.16763v1 📥 PDF

作者: Gabriel Mukobi, Peter Chatain, Su Fong, Robert Windesheim, Gitta Kutyniok, Kush Bhatia, Silas Alberti

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-25

备注: Accepted to the Socially Responsible Language Modelling Research (SoLaR) workshop at NeurIPS 2023

💡 一句话要点

提出SuperHF以解决语言模型对人类反馈的对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 人类反馈 监督学习 强化学习 模型对齐 训练稳定性 奖励黑客 在线学习

📋 核心要点

  1. 现有的监督微调和强化学习方法在训练稳定性和奖励黑客问题上存在不足，影响模型的性能和安全性。
  2. SuperHF通过替代PPO，采用简单的监督损失和KL散度先验，利用在线学习机制生成训练数据，从而提高模型的对齐效果。
  3. 实验结果显示，SuperHF在训练目标上超过了PPO基础的RLHF，且在下游任务中表现一致，简化了实现过程。

📝 摘要（中文）

尽管大型语言模型展现出卓越的能力，但在安全性、与人类价值观的对齐以及训练稳定性方面仍面临挑战。本文关注两种常用的对齐方法：监督微调（SFT）和基于人类反馈的强化学习（RLHF）。我们提出了一种新方法，监督迭代学习人类反馈（SuperHF），旨在结合这两种方法的优点。SuperHF通过简单的监督损失和KL散度先验替代了RLHF中的近端策略优化（PPO），并通过在线学习机制生成训练数据。实验结果表明，SuperHF在训练目标上优于基于PPO的RLHF，能够有效平衡高奖励与低奖励黑客，并在下游评估中表现良好，显示出其作为竞争性语言模型对齐技术的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在对齐人类反馈时的训练不稳定性和奖励黑客问题。现有的SFT和RLHF方法在这些方面存在明显的不足，尤其是RLHF在使用PPO时容易导致不稳定。

核心思路：SuperHF的核心思路是结合SFT和RLHF的优点，使用简单的监督损失替代PPO，并通过KL散度先验来优化模型。这样设计的目的是提高数据利用效率和模型的泛化能力，同时降低训练过程中的不稳定性。

技术框架：SuperHF的整体架构包括三个主要模块：生成模型输出、通过奖励模型过滤输出以及优化训练奖励。通过在线学习机制，SuperHF能够动态生成和优化训练数据。

关键创新：SuperHF的主要创新在于用简单的监督损失替代了RLHF中的PPO，显著降低了训练复杂性，并通过新提出的METEOR相似度度量来防止奖励黑客。与现有方法相比，SuperHF在模型对齐的稳定性和效率上有显著提升。

关键设计：在参数设置上，SuperHF使用了KL散度作为先验，损失函数设计为简单的监督损失，网络结构保持简洁，确保了模型的高效训练和良好性能。具体的超参数设置和网络架构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SuperHF在训练目标上超越了基于PPO的RLHF，能够有效平衡高奖励与低奖励黑客，且在下游任务中的表现与GPT-4基准评估一致，显示出其在模型对齐领域的竞争力。具体而言，SuperHF在训练效率和模型稳定性上均有显著提升，简化了实现过程。

🎯 应用场景

SuperHF的研究成果具有广泛的应用潜力，尤其在需要高安全性和对齐性的语言模型应用场景中，如智能助手、自动内容生成和人机交互系统。通过提高模型的稳定性和对人类反馈的响应能力，SuperHF能够为未来的AI系统提供更可靠的支持，推动人机协作的进步。

📄 摘要（原文）

While large language models demonstrate remarkable capabilities, they often present challenges in terms of safety, alignment with human values, and stability during training. Here, we focus on two prevalent methods used to align these models, Supervised Fine-Tuning (SFT) and Reinforcement Learning from Human Feedback (RLHF). SFT is simple and robust, powering a host of open-source models, while RLHF is a more sophisticated method used in top-tier models like ChatGPT but also suffers from instability and susceptibility to reward hacking. We propose a novel approach, Supervised Iterative Learning from Human Feedback (SuperHF), which seeks to leverage the strengths of both methods. Our hypothesis is two-fold: that the reward model used in RLHF is critical for efficient data use and model generalization and that the use of Proximal Policy Optimization (PPO) in RLHF may not be necessary and could contribute to instability issues. SuperHF replaces PPO with a simple supervised loss and a Kullback-Leibler (KL) divergence prior. It creates its own training data by repeatedly sampling a batch of model outputs and filtering them through the reward model in an online learning regime. We then break down the reward optimization problem into three components: robustly optimizing the training rewards themselves, preventing reward hacking-exploitation of the reward model that degrades model performance-as measured by a novel METEOR similarity metric, and maintaining good performance on downstream evaluations. Our experimental results show SuperHF exceeds PPO-based RLHF on the training objective, easily and favorably trades off high reward with low reward hacking, improves downstream calibration, and performs the same on our GPT-4 based qualitative evaluation scheme all the while being significantly simpler to implement, highlighting SuperHF's potential as a competitive language model alignment technique.