Reinforcement Learning without Human Feedback for Last Mile Fine-Tuning of Large Language Models

📄 arXiv: 2408.16753v1 📥 PDF

作者: Alec Solway

分类: cs.CL, cs.LG

发布日期: 2024-08-29

💡 一句话要点

提出无需人工反馈的强化学习方法，用于大语言模型在下游任务上的精调。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大语言模型 微调 无监督学习 抽象摘要 自然语言处理 奖励函数

📋 核心要点

  1. 现有大语言模型微调主要依赖最大似然法，缺乏对非最优行为的抑制能力，限制了模型性能。
  2. 提出一种无需人工反馈的强化学习微调框架，通过探索策略空间，学习在各种场景下的最优行为。
  3. 实验表明，该方法在抽象摘要任务上优于最大似然法，为模型优化提供新途径。

📝 摘要（中文）

强化学习通常用于对齐语言模型与人类偏好信号，在此之前，模型首先通过最大化似然来预测大型语料库中的下一个文本标记进行预训练。在部署到特定领域之前，模型通常需要在特定任务数据上进一步微调。由于最后一步通常无法获得人类偏好，因此通常使用最大似然法作为默认方法。然而，强化学习除了促进与人类奖励函数的对齐之外，还具有其他优势。例如，最大似然是一种模仿学习，模型在理想条件下训练该做什么，而强化学习不限于仅展示最佳状态下的行为，而是在探索策略空间时训练模型在各种情况下该做什么。此外，它还训练模型不该做什么，抑制有竞争力但较差的行为。本研究开发了一个使用强化学习进行最后阶段微调的框架，并测试它是否能获得性能提升。实验集中在抽象摘要上，但该框架是通用的，具有广泛的适用性。当比较原始预测时，使用该程序产生的结果明显优于最大似然法。对于测试的特定数据，可以通过对最大似然输出进行后处理来弥合差距。尽管如此，该框架为模型优化提供了一种新途径，适用于后处理可能不太直接或有效的场景，并且可以扩展到包括更复杂的有害输出类别，例如幻觉，以进行惩罚和对抗训练。

🔬 方法详解

问题定义：论文旨在解决大语言模型在下游任务微调阶段，传统最大似然方法的局限性。最大似然法本质上是一种模仿学习，只能学习最优行为，无法学习在各种场景下的应对策略，也无法抑制次优行为，导致模型泛化能力受限。尤其是在缺乏人工标注数据的情况下，这一问题更为突出。

核心思路：论文的核心思路是利用强化学习的探索能力和奖励机制，让模型在没有人工反馈的情况下，通过与环境交互，学习在各种场景下的最优策略，并抑制次优行为。强化学习能够训练模型在不同状态下采取行动，并根据行动结果获得奖励，从而学习到更鲁棒的策略。

技术框架：该框架主要包含以下几个阶段：1) 使用预训练的大语言模型作为初始策略；2) 定义一个奖励函数，用于评估模型生成的文本质量（例如，基于ROUGE指标）；3) 使用强化学习算法（具体算法未知）训练模型，使其最大化累积奖励；4) 对训练后的模型进行评估，并与基于最大似然法微调的模型进行比较。

关键创新：该论文的关键创新在于提出了一种无需人工反馈的强化学习微调方法。传统强化学习通常需要人工设计的奖励函数或人类偏好数据，而该方法通过自动化的奖励函数，实现了在没有人工干预的情况下对模型进行微调。这使得该方法更易于应用到各种下游任务中。

关键设计：论文中关于奖励函数的具体设计、强化学习算法的选择以及超参数的设置等关键技术细节未知。但可以推测，奖励函数的设计需要能够准确反映文本质量，并且能够引导模型生成符合任务要求的文本。强化学习算法的选择需要考虑到计算效率和收敛性。

📊 实验亮点

实验结果表明，使用该方法进行微调的模型在抽象摘要任务上优于基于最大似然法微调的模型。具体性能提升数据未知，但论文强调了在原始预测结果上的显著差异。虽然可以通过后处理来弥补最大似然法的不足，但该框架为模型优化提供了一种新的、更通用的途径。

🎯 应用场景

该研究成果可广泛应用于各种自然语言处理任务中，尤其是在缺乏人工标注数据的场景下，例如机器翻译、文本生成、对话系统等。通过强化学习微调，可以提升模型在特定领域的性能和泛化能力，减少对人工标注数据的依赖，降低模型开发成本。此外，该方法还可以用于对抗训练，提高模型的鲁棒性。

📄 摘要（原文）

Reinforcement learning is used to align language models with human preference signals after first pre-training the model to predict the next token of text within a large corpus using likelihood maximization. Before being deployed in a specific domain, models are often further fine-tuned on task specific data. Since human preferences are often unavailable for the last step, it is performed using likelihood maximization as that is the typical default method. However, reinforcement learning has other advantages besides facilitating alignment to a human derived reward function. For one, whereas likelihood maximization is a form of imitation learning in which the model is trained on what to do under ideal conditions, reinforcement learning is not limited to demonstrating actions just for optimally reached states and trains a model what to do under a range of scenarios as it explores the policy space. In addition, it also trains a model what not to do, suppressing competitive but poor actions. This work develops a framework for last-mile fine-tuning using reinforcement learning and tests whether it garners performance gains. The experiments center on abstractive summarization, but the framework is general and broadly applicable. Use of the procedure produced significantly better results than likelihood maximization when comparing raw predictions. For the specific data tested, the gap could be bridged by employing post-processing of the maximum likelihood outputs. Nonetheless, the framework offers a new avenue for model optimization in situations where post-processing may be less straightforward or effective, and it can be extended to include more complex classes of undesirable outputs to penalize and train against, such as hallucinations.