Machine Unlearning in Large Language Models

📄 arXiv: 2405.15152v1 📥 PDF

作者: Saaketh Koundinya Gundavarapu, Shreya Agarwal, Arushi Arora, Chandana Thimmalapura Jagadeeshaiah

分类: cs.CL, cs.AI

发布日期: 2024-05-24

备注: 10 pages

💡 一句话要点

提出基于梯度上升的LLM知识遗忘方法，提升模型伦理性和安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器学习遗忘 大型语言模型 梯度上升 知识擦除 伦理安全 版权保护 LoRA微调

📋 核心要点

  1. 大型语言模型存在生成有害响应和泄露版权内容的风险，现有方法难以有效且安全地进行知识遗忘。
  2. 利用梯度上升算法，选择性地擦除或修改LLM中已学习的信息，从而减少有害响应和版权内容的生成。
  3. 实验表明，该方法在减少有害响应方面取得了75%的降低，并显著减少了LLM中版权材料的出现。

📝 摘要（中文）

本文提出了一种在大型语言模型（LLM）中进行机器学习遗忘的方法，旨在选择性地遗忘或减少模型中不期望的知识或行为。该方法利用梯度上升算法，使LLM（如Open Pre-trained Transformer Language Models）与伦理、隐私和安全标准对齐。通过选择性地擦除或修改LLM中已学习的信息，针对有害响应和受版权保护的内容。具体而言，采用双管齐下的方法：一是通过在PKU数据集上应用梯度上升，使OPT1.3b和OPT2.7b模型在有害响应方面减少了75%，同时使用TruthfulQA数据集保留了原有知识；二是针对版权内容，构建了基于《指环王》语料库的自定义数据集，并通过LoRA微调对LLM进行对齐，然后使用梯度上升遗忘《指环王》内容，显著减少了版权材料的出现。为了保持知识的多样性，使用了Book Corpus数据集。此外，还提出了一种新的评估技术来评估有害内容遗忘的有效性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中存在的有害响应和版权内容泄露问题。现有方法在选择性遗忘特定知识的同时，往往难以保持模型原有知识，或者效率较低，无法适应LLM的规模。因此，需要一种能够精确、高效地从LLM中移除不需要的信息，同时保留有用信息的方法。

核心思路：论文的核心思路是利用梯度上升算法来“反向学习”不需要的知识。通过在包含有害内容或版权内容的特定数据集上进行梯度上升，模型会逐渐减少生成这些内容的概率。同时，为了防止模型遗忘过多有用信息，论文还使用了保留知识的数据集，以确保模型在遗忘特定知识的同时，保持其通用能力。

技术框架：该方法包含以下几个主要阶段： 1. 数据准备：构建或选择包含有害内容（如PKU数据集）和版权内容（如《指环王》语料库）的数据集，以及用于保留知识的数据集（如TruthfulQA和Book Corpus）。 2. 模型对齐：使用LoRA等技术对LLM进行微调，使其初步适应特定任务或数据集。 3. 梯度上升遗忘：在有害内容或版权内容数据集上，使用梯度上升算法更新模型参数，从而减少模型生成这些内容的概率。 4. 知识保留：在知识保留数据集上进行训练，以防止模型遗忘过多有用信息。 5. 评估：使用特定的评估指标来衡量模型在遗忘有害内容或版权内容方面的效果，以及在保留原有知识方面的能力。

关键创新：该方法最重要的创新点在于将梯度上升算法应用于LLM的知识遗忘，并结合知识保留策略，实现了在选择性遗忘特定知识的同时，保持模型原有知识的能力。与传统的微调或重训练方法相比，该方法更加高效和精确。

关键设计：关键设计包括： 1. 梯度上升的优化器选择和学习率：需要仔细调整，以避免模型参数发生剧烈变化，导致性能下降。 2. 知识保留数据集的选择：需要选择与目标任务相关，但又不包含需要遗忘的内容的数据集。 3. 评估指标的设计：需要设计能够准确衡量模型在遗忘特定知识和保留原有知识方面的能力的指标。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方法在减少有害响应方面取得了显著效果，OPT1.3b和OPT2.7b模型在PKU数据集上应用梯度上升后，有害响应减少了75%。同时，该方法能够有效减少LLM中版权材料的出现，并保持模型在TruthfulQA数据集上的性能，表明其在遗忘特定知识的同时，能够保留原有知识。

🎯 应用场景

该研究成果可应用于多种场景，例如：过滤LLM生成的有害信息，保护版权内容，以及根据用户偏好定制LLM的行为。通过选择性地遗忘或修改LLM中的知识，可以使其更加安全、可靠和符合伦理规范，从而促进LLM在各个领域的广泛应用。

📄 摘要（原文）

Machine unlearning, a novel area within artificial intelligence, focuses on addressing the challenge of selectively forgetting or reducing undesirable knowledge or behaviors in machine learning models, particularly in the context of large language models (LLMs). This paper introduces a methodology to align LLMs, such as Open Pre-trained Transformer Language Models, with ethical, privacy, and safety standards by leveraging the gradient ascent algorithm for knowledge unlearning. Our approach aims to selectively erase or modify learned information in LLMs, targeting harmful responses and copyrighted content. This paper presents a dual-pronged approach to enhance the ethical and safe behavior of large language models (LLMs) by addressing the issues of harmful responses and copyrighted content. To mitigate harmful responses, we applied gradient ascent on the PKU dataset, achieving a 75\% reduction in harmful responses for Open Pre-trained Transformer Language Models (OPT1.3b and OPT2.7b) \citet{zhang2022opt} while retaining previous knowledge using the TruthfulQA dataset \citet{DBLP:journals/corr/abs-2109-07958}. For handling copyrighted content, we constructed a custom dataset based on the Lord of the Rings corpus and aligned LLMs (OPT1.3b and OPT2.7b) \citet{zhang2022opt} through LoRA: Low-Rank Adaptation of Large Language Models \citet{DBLP:journals/corr/abs-2106-09685} finetuning. Subsequently, we employed gradient ascent to unlearn the Lord of the Rings content, resulting in a remarkable reduction in the presence of copyrighted material. To maintain a diverse knowledge base, we utilized the Book Corpus dataset. Additionally, we propose a new evaluation technique for assessing the effectiveness of harmful unlearning.