Large Language Model Unlearning

📄 arXiv: 2310.10683v2 📥 PDF

作者: Yuanshun Yao, Xiaojun Xu, Yang Liu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-14 (更新: 2024-02-16)

💡 一句话要点

提出大语言模型遗忘技术以解决不当行为问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 遗忘技术 对齐方法 负面示例 计算效率 用户反馈 内容审核

📋 核心要点

  1. 现有方法在处理大语言模型的不当行为时，往往依赖于正面示例，收集成本高且效率低。
  2. 本文提出了一种基于负面示例的遗忘技术，旨在快速消除不良输出，而无需大量正面反馈。
  3. 实验结果表明，遗忘技术在仅使用2%计算时间的情况下，能够实现比传统RLHF更好的对齐性能。

📝 摘要（中文）

本文研究如何在大语言模型（LLMs）中实现遗忘，即消除不良行为。我们展示了至少三种场景可以通过遗忘来使LLMs与人类偏好对齐：去除有害响应、根据请求删除受版权保护的内容以及减少幻觉。作为一种对齐技术，遗忘具有三大优势：只需负面示例，收集成本低；计算效率高；在已知哪些训练样本导致不当行为时特别有效。我们的工作是首次探索LLM遗忘，明确了设置、目标和评估方法。实验表明，在资源有限的情况下，遗忘尤其具有吸引力，且仅用负面样本的情况下，遗忘的对齐性能优于RLHF，仅需2%的计算时间。

🔬 方法详解

问题定义：本文旨在解决大语言模型中不当行为的遗忘问题。现有方法依赖于正面反馈，收集成本高且效率低，难以快速应对不良输出。

核心思路：论文提出通过负面示例进行遗忘，利用用户报告或红队测试收集有害示例，从而实现快速对齐。此方法在资源有限的情况下尤为有效，优先停止不良输出。

技术框架：整体架构包括三个主要阶段：首先收集负面示例，其次通过遗忘算法处理这些示例，最后评估对齐效果。每个阶段都旨在提高模型的安全性和可靠性。

关键创新：最重要的创新在于首次将遗忘技术应用于大语言模型的对齐，强调了负面示例的有效性，与传统依赖正面反馈的方法形成鲜明对比。

关键设计：在参数设置上，采用了针对负面示例的特定损失函数，优化了模型的学习过程，确保在消除不良行为的同时保持模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，遗忘技术在仅使用负面样本的情况下，能够实现比传统RLHF更好的对齐性能，且计算时间仅为其2%。这一结果表明，遗忘技术在资源有限的情况下，仍能有效提升大语言模型的安全性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括内容审核、用户反馈处理和智能助手的安全性提升。通过有效的遗忘机制，模型能够更好地适应用户需求，减少不当输出，提升用户体验。未来，该技术可能在多种AI应用中得到广泛推广，促进人机交互的安全性和可靠性。

📄 摘要（原文）

We study how to perform unlearning, i.e. forgetting undesirable misbehaviors, on large language models (LLMs). We show at least three scenarios of aligning LLMs with human preferences can benefit from unlearning: (1) removing harmful responses, (2) erasing copyright-protected content as requested, and (3) reducing hallucinations. Unlearning, as an alignment technique, has three advantages. (1) It only requires negative (e.g. harmful) examples, which are much easier and cheaper to collect (e.g. via red teaming or user reporting) than positive (e.g. helpful and often human-written) examples required in RLHF (RL from human feedback). (2) It is computationally efficient. (3) It is especially effective when we know which training samples cause the misbehavior. To the best of our knowledge, our work is among the first to explore LLM unlearning. We are also among the first to formulate the settings, goals, and evaluations in LLM unlearning. We show that if practitioners only have limited resources, and therefore the priority is to stop generating undesirable outputs rather than to try to generate desirable outputs, unlearning is particularly appealing. Despite only having negative samples, our ablation study shows that unlearning can still achieve better alignment performance than RLHF with just 2% of its computational time.