Exclusive Unlearning

📄 arXiv: 2604.06154v1 📥 PDF

作者: Mutsumi Sasaki, Kouta Nakayama, Yusuke Miyao, Yohei Oseki, Masaru Isonuma

分类: cs.CL

发布日期: 2026-04-07

💡 一句话要点

提出独占式遗忘(Exclusive Unlearning)方法，提升大语言模型安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 机器遗忘 安全性 独占式学习 对抗训练

📋 核心要点

  1. 现有遗忘方法难以全面移除大语言模型中多样化的有害内容，存在安全隐患。
  2. 独占式遗忘(EU)通过保留所需知识，遗忘其余内容，实现更广泛的有害信息移除。
  3. 实验证明EU能有效防御越狱攻击，同时保持模型在特定领域的指令响应能力。

📝 摘要（中文）

为了解决大语言模型(LLMs)在医疗、教育等工业应用中生成有害内容的风险，本研究提出了一种名为独占式遗忘(Exclusive Unlearning, EU)的方法。与现有专注于删除特定有害知识和表达的遗忘方法不同，EU旨在通过广泛遗忘所有内容，仅保留期望保留的知识和表达，从而实现更全面的危害移除。实验结果表明，通过独占式遗忘，可以获得一个能够有效防御包括越狱攻击在内的各种输入的安全性模型，同时保持对医学、数学等特定领域相关指令的响应能力。

🔬 方法详解

问题定义：现有的大语言模型遗忘方法通常针对特定的有害知识或表达进行删除，但由于有害内容的多样性和不断演化，这种方法难以覆盖所有潜在的风险。模型仍然可能生成有害、不安全或不符合要求的输出，尤其是在面对对抗性攻击（如越狱攻击）时。因此，需要一种更全面的方法来提升大语言模型的安全性。

核心思路：独占式遗忘(Exclusive Unlearning)的核心思路是“反向遗忘”。与其逐一识别和删除有害信息，不如直接保留希望模型记住的“安全”或“有用”的知识，然后将其他所有信息都遗忘掉。这样可以从根本上避免模型生成有害内容，同时确保模型在特定领域内的可用性。

技术框架：独占式遗忘的具体流程可能包含以下几个阶段：1. 知识选择：确定需要保留的知识范围，例如特定领域的知识库、安全指令等。2. 模型微调/训练：使用包含需要保留知识的数据集对模型进行微调或训练，使其掌握这些知识。3. 遗忘训练：使用特殊设计的遗忘策略，例如对抗训练或梯度反转等，使模型遗忘除保留知识以外的所有信息。4. 评估与验证：评估模型在安全性、领域知识保持和泛化能力等方面的表现。

关键创新：独占式遗忘的关键创新在于其“独占”的遗忘策略。与传统的“选择性遗忘”不同，它不是试图精确地删除有害信息，而是通过保留有益信息来实现对有害信息的抑制。这种方法更具鲁棒性，能够应对未知的有害输入。

关键设计：具体的遗忘训练策略是关键设计之一。例如，可以使用对抗训练，让模型学习区分保留知识和需要遗忘的知识，并尽可能生成与需要遗忘的知识不同的输出。损失函数的设计也至关重要，需要平衡保留知识的准确性和遗忘其他知识的彻底性。此外，如何高效地进行遗忘训练，避免模型性能下降，也是一个重要的技术挑战。

📊 实验亮点

论文实验结果表明，通过独占式遗忘，模型在防御越狱攻击方面取得了显著提升，同时保持了在医学和数学等特定领域的指令响应能力。具体性能数据（例如，越狱攻击成功率降低百分比，领域知识问答准确率）未知，但整体效果表明该方法在安全性和可用性之间取得了较好的平衡。

🎯 应用场景

独占式遗忘技术可广泛应用于对安全性要求较高的领域，如医疗健康、教育、金融等。通过该技术，可以有效降低大语言模型生成有害信息的风险，提升模型的可信度和可靠性，从而促进大语言模型在这些领域的安全应用。未来，该技术还可用于个性化知识管理，帮助用户构建专属的、安全的知识助手。

📄 摘要（原文）

When introducing Large Language Models (LLMs) into industrial applications, such as healthcare and education, the risk of generating harmful content becomes a significant challenge. While existing machine unlearning methods can erase specific harmful knowledge and expressions, diverse harmful content makes comprehensive removal difficult. In this study, instead of individually listing targets for forgetting, we propose Exclusive Unlearning (EU), which aims for broad harm removal by extensively forgetting everything except for the knowledge and expressions we wish to retain. We demonstrate that through Exclusive Unlearning, it is possible to obtain a model that ensures safety against a wide range of inputs, including jailbreaks, while maintaining the ability to respond to diverse instructions related to specific domains such as medicine and mathematics.