Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision

📄 arXiv: 2312.09390v1 📥 PDF

作者: Collin Burns, Pavel Izmailov, Jan Hendrik Kirchner, Bowen Baker, Leo Gao, Leopold Aschenbrenner, Yining Chen, Adrien Ecoffet, Manas Joglekar, Jan Leike, Ilya Sutskever, Jeff Wu

分类: cs.CL

发布日期: 2023-12-14

💡 一句话要点

弱监督到强泛化：利用弱监督激发强大模型能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 弱监督学习 模型对齐 语言模型 泛化能力 超人模型 强化学习 置信度学习

📋 核心要点

  1. 现有对齐技术依赖于人类对模型行为的强监督，但未来超人模型的复杂性使得人类难以进行有效评估。
  2. 该论文探索了使用弱模型监督来激发更强大模型能力的方法，即“弱监督到强泛化”，旨在解决超人模型的对齐问题。
  3. 实验表明，通过弱监督微调，强模型可以超越弱监督者，但仍有提升空间，结合置信度损失等方法可显著提高性能。

📝 摘要（中文）

目前广泛使用的对齐技术，例如基于人类反馈的强化学习（RLHF），依赖于人类监督模型行为的能力，例如评估模型是否忠实地遵循了指令或生成了安全输出。然而，未来超人模型的行为将非常复杂，人类难以可靠地评估；人类只能对超人模型进行弱监督。我们研究了这个问题的一个类比：弱模型监督能否激发更强大模型的全部能力？我们使用GPT-4系列中的一系列预训练语言模型在自然语言处理（NLP）、国际象棋和奖励建模任务上进行了测试。我们发现，当我们天真地使用弱模型生成的标签微调强大的预训练模型时，它们的表现始终优于其弱监督者，我们称这种现象为弱监督到强泛化。然而，仅靠天真的微调还远不能恢复强大模型的全部能力，这表明像RLHF这样的技术如果不进一步改进，可能难以扩展到超人模型。我们发现，简单的方法通常可以显着改善弱监督到强泛化：例如，当使用GPT-2级别的监督者和辅助置信度损失微调GPT-4时，我们可以在NLP任务上恢复接近GPT-3.5级别的性能。我们的结果表明，今天在对齐超人模型的基本挑战方面取得经验性进展是可行的。

🔬 方法详解

问题定义：论文旨在解决未来超人模型对齐问题，核心挑战在于人类难以有效监督超人模型的复杂行为。现有方法如RLHF依赖强监督，但无法直接应用于超人模型，因此需要探索弱监督下的模型能力激发方法。

核心思路：论文的核心思路是利用弱模型作为监督者，通过微调等方式训练更强大的模型，使其在弱监督下也能表现出超越监督者的能力，即“弱监督到强泛化”。这种方法旨在模拟未来人类只能对超人模型进行弱监督的场景，并探索有效的训练策略。

技术框架：整体框架包括：1）使用弱模型生成训练数据（标签）；2）使用生成的数据微调强模型；3）评估强模型在各种任务上的表现，并与弱模型进行比较。此外，论文还探索了辅助损失函数（如置信度损失）来进一步提升强模型的性能。

关键创新：最重要的创新点在于提出了“弱监督到强泛化”的概念，并验证了其可行性。论文表明，即使使用能力较弱的模型进行监督，也可以训练出性能超越监督者的强大模型。这为解决超人模型对齐问题提供了一种新的思路。

关键设计：论文的关键设计包括：1）选择不同能力的预训练语言模型（如GPT-2、GPT-3.5、GPT-4）作为弱监督者和强模型；2）在NLP、国际象棋和奖励建模等不同任务上进行实验；3）引入辅助置信度损失，鼓励强模型学习弱监督者的置信度信息，从而提高泛化能力。

📊 实验亮点

实验结果表明，通过弱监督微调，GPT-4可以超越GPT-2级别的监督者。在NLP任务上，结合置信度损失，使用GPT-2监督的GPT-4可以恢复接近GPT-3.5级别的性能。这些结果验证了弱监督到强泛化的可行性，并表明通过简单的改进方法可以显著提升弱监督下的模型性能。

🎯 应用场景

该研究成果可应用于各种需要模型对齐的场景，尤其是在人类难以提供高质量监督的情况下。例如，可以利用弱监督数据训练更强大的AI助手、自动驾驶系统或医疗诊断模型。此外，该研究也为未来超人模型的安全对齐提供了新的思路和方法。

📄 摘要（原文）

Widely used alignment techniques, such as reinforcement learning from human feedback (RLHF), rely on the ability of humans to supervise model behavior - for example, to evaluate whether a model faithfully followed instructions or generated safe outputs. However, future superhuman models will behave in complex ways too difficult for humans to reliably evaluate; humans will only be able to weakly supervise superhuman models. We study an analogy to this problem: can weak model supervision elicit the full capabilities of a much stronger model? We test this using a range of pretrained language models in the GPT-4 family on natural language processing (NLP), chess, and reward modeling tasks. We find that when we naively finetune strong pretrained models on labels generated by a weak model, they consistently perform better than their weak supervisors, a phenomenon we call weak-to-strong generalization. However, we are still far from recovering the full capabilities of strong models with naive finetuning alone, suggesting that techniques like RLHF may scale poorly to superhuman models without further work. We find that simple methods can often significantly improve weak-to-strong generalization: for example, when finetuning GPT-4 with a GPT-2-level supervisor and an auxiliary confidence loss, we can recover close to GPT-3.5-level performance on NLP tasks. Our results suggest that it is feasible to make empirical progress today on a fundamental challenge of aligning superhuman models.