It Takes Two: On the Seamlessness between Reward and Policy Model in RLHF

📄 arXiv: 2406.07971v2 📥 PDF

作者: Taiming Lu, Lingfeng Shen, Xinyu Yang, Weiting Tan, Beidi Chen, Huaxiu Yao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-06-12 (更新: 2024-06-13)

💡 一句话要点

提出SEAM指标，衡量并提升RLHF中奖励模型与策略模型的无缝衔接

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类反馈强化学习 奖励模型 策略模型 无缝性 数据选择

📋 核心要点

  1. 现有RLHF方法侧重于独立优化PM和RM，忽略了二者交互，导致RM对PM响应评估不准确，影响整体性能。
  2. 提出SEAM指标，自动衡量PM和RM判断的差异，无需人工标注，从而量化二者之间的无缝性。
  3. 实验表明，使用SEAM过滤数据和指导模型增强，分别能提升RLHF性能4.5%和4%，验证了SEAM的有效性。

📝 摘要（中文）

本文研究了人类反馈强化学习(RLHF)中策略模型(PM)和奖励模型(RM)之间的交互，提出了“无缝性”的概念。研究发现，RM和PM的持续改进并不一定带来RLHF的进步，存在饱和现象。分析表明，RM无法正确评估PM的响应，导致与人类偏好存在35%的不匹配率。为了在没有人为干预的情况下衡量PM和RM之间的无缝性，本文提出了自动指标SEAM。SEAM量化了数据样本引起的PM和RM判断之间的差异。实验验证了SEAM在数据选择和模型增强方面的有效性。结果表明，使用SEAM过滤的数据进行RL训练可将RLHF性能提高4.5%，而SEAM引导的模型增强比标准增强方法提高4%的性能。

🔬 方法详解

问题定义：论文旨在解决RLHF中奖励模型（RM）和策略模型（PM）之间缺乏有效衔接的问题。现有方法通常独立训练RM和PM，忽略了二者之间的交互，导致RM无法准确评估PM生成的响应，从而影响RLHF的整体性能。这种不匹配表现为RM和PM持续改进，但RLHF效果停滞不前，即出现饱和现象。

核心思路：论文的核心思路是关注RM和PM之间的“无缝性”，即RM对PM生成响应的评估与人类偏好的一致程度。如果RM能够准确反映人类对PM生成内容的偏好，则认为二者之间具有良好的无缝性。通过量化这种无缝性，可以指导数据选择和模型增强，从而提升RLHF的性能。

技术框架：论文提出的技术框架主要包含以下几个部分：1) 观察到RLHF的饱和现象，并分析RM和PM之间存在不匹配；2) 提出SEAM指标，用于自动衡量RM和PM判断之间的差异；3) 利用SEAM指标进行数据选择，选择RM和PM判断一致性高的数据进行训练；4) 利用SEAM指标指导模型增强，提升RM对PM生成响应的评估能力。

关键创新：论文的关键创新在于提出了SEAM指标，这是一种自动化的无缝性度量方法，无需人工标注即可量化RM和PM之间的差异。与现有方法相比，SEAM能够更有效地捕捉RM和PM之间的不匹配，并指导RLHF的训练过程。

关键设计：SEAM指标通过计算PM生成响应在RM和PM中的排序差异来衡量无缝性。具体来说，对于给定的数据样本，首先使用PM生成多个响应，然后分别使用RM和PM对这些响应进行排序。SEAM指标计算RM和PM排序之间的差异，例如使用Kendall's Tau相关系数。SEAM值越低，表示RM和PM之间的差异越大，无缝性越差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用SEAM过滤的数据进行RL训练，RLHF性能提升了4.5%。此外，SEAM引导的模型增强方法，相比于标准的数据增强方法，性能提升了4%。这些结果验证了SEAM指标的有效性，证明了提升RM和PM之间无缝性的重要性。

🎯 应用场景

该研究成果可应用于各种需要人类反馈的强化学习任务中，例如对话系统、文本生成、推荐系统等。通过提升奖励模型和策略模型之间的无缝性，可以更有效地利用人类偏好数据，训练出更符合人类期望的模型，从而提高用户体验和系统性能。该研究对于提升AI系统的安全性和可靠性也具有重要意义。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) involves training policy models (PMs) and reward models (RMs) to align language models with human preferences. Instead of focusing solely on PMs and RMs independently, we propose to examine their interactions during fine-tuning, introducing the concept of seamlessness. Our study starts with observing the saturation phenomenon, where continual improvements in RM and PM do not translate into RLHF progress. Our analysis shows that RMs fail to assign proper scores to PM responses, resulting in a 35% mismatch rate with human preferences, highlighting a significant discrepancy between PM and RM. To measure seamlessness between PM and RM without human effort, we propose an automatic metric, SEAM. SEAM quantifies the discrepancies between PM and RM judgments induced by data samples. We validate the effectiveness of SEAM in data selection and model augmentation. Our experiments demonstrate that (1) using SEAM-filtered data for RL training improves RLHF performance by 4.5%, and (2) SEAM-guided model augmentation results in a 4% performance improvement over standard augmentation methods.