Understanding the Effects of RLHF on LLM Generalisation and Diversity

📄 arXiv: 2310.06452v3 📥 PDF

作者: Robert Kirk, Ishita Mediratta, Christoforos Nalmpantis, Jelena Luketina, Eric Hambro, Edward Grefenstette, Roberta Raileanu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-10-10 (更新: 2024-02-19)

备注: Code available here: https://github.com/facebookresearch/rlfh-gen-div

💡 一句话要点

分析RLHF对LLM泛化与多样性的影响

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类反馈 强化学习 输出多样性 泛化能力 微调方法 模型评估

📋 核心要点

  1. 现有的RLHF方法在泛化能力和输出多样性之间存在权衡，尚未充分理解各阶段的影响。
  2. 本研究通过对SFT、奖励建模和RLHF的分析，探讨其对模型泛化和多样性的具体影响。
  3. 实验结果显示，RLHF在新输入上的泛化能力优于SFT，但输出多样性显著降低，提示微调方法选择需考虑应用场景。

📝 摘要（中文）

本文探讨了通过人类反馈强化学习（RLHF）微调的大型语言模型（LLM）在泛化能力和输出多样性方面的表现。尽管已有大量研究致力于RLHF方法的开发，但对其各个阶段的优缺点理解仍然有限。我们分析了监督微调（SFT）、奖励建模和RLHF三个阶段如何影响模型在新输入上的泛化能力和输出的多样性。结果表明，RLHF在面对更大分布转变时的泛化能力优于SFT，但在多样性方面则显著降低。这一发现为不同应用场景下的微调方法选择提供了指导，并指出需要进一步研究以改善泛化与多样性之间的权衡。

🔬 方法详解

问题定义：本文旨在解决现有RLHF方法在泛化能力与输出多样性之间的权衡问题，现有研究对各阶段的影响理解不足。

核心思路：通过对SFT、奖励建模和RLHF三个阶段的深入分析，探讨其对模型在新输入上的泛化能力和输出多样性的影响，旨在为微调方法选择提供指导。

技术框架：研究采用了两种基础模型，分别在摘要生成和指令跟随任务上进行实验，分析每个阶段对模型性能的影响。主要模块包括监督微调、奖励建模和强化学习微调。

关键创新：本研究的创新在于系统性地分析了RLHF的各个阶段对模型泛化和多样性的影响，揭示了二者之间的权衡关系，填补了现有文献的空白。

关键设计：在实验中，采用了多种评估指标来量化模型的泛化能力和输出多样性，设计了相应的损失函数以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RLHF在新输入上的泛化能力优于SFT，尤其在训练与测试分布差异较大的情况下。然而，RLHF在多样性方面的表现显著低于SFT，提示在当前微调方法中存在泛化与多样性之间的权衡。

🎯 应用场景

该研究的结果对大型语言模型的微调方法选择具有重要指导意义，尤其是在需要平衡泛化能力与输出多样性的应用场景中，如对话系统、内容生成和自动摘要等领域。未来的研究可以基于此结果进一步探索改进RLHF方法，以提升模型在实际应用中的表现。

📄 摘要（原文）

Large language models (LLMs) fine-tuned with reinforcement learning from human feedback (RLHF) have been used in some of the most widely deployed AI models to date, such as OpenAI's ChatGPT or Anthropic's Claude. While there has been significant work developing these methods, our understanding of the benefits and downsides of each stage in RLHF is still limited. To fill this gap, we present an extensive analysis of how each stage of the process (i.e. supervised fine-tuning (SFT), reward modelling, and RLHF) affects two key properties: out-of-distribution (OOD) generalisation and output diversity. OOD generalisation is crucial given the wide range of real-world scenarios in which these models are being used, while output diversity refers to the model's ability to generate varied outputs and is important for a variety of use cases. We perform our analysis across two base models on both summarisation and instruction following tasks, the latter being highly relevant for current LLM use cases. We find that RLHF generalises better than SFT to new inputs, particularly as the distribution shift between train and test becomes larger. However, RLHF significantly reduces output diversity compared to SFT across a variety of measures, implying a tradeoff in current LLM fine-tuning methods between generalisation and diversity. Our results provide guidance on which fine-tuning method should be used depending on the application, and show that more research is needed to improve the tradeoff between generalisation and diversity.