OBLIVIATE: Robust and Practical Machine Unlearning for Large Language Models

📄 arXiv: 2505.04416v2 📥 PDF

作者: Xiaoyu Xu, Minxin Du, Qingqing Ye, Haibo Hu

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2025-05-07 (更新: 2025-09-09)

备注: To appear at EMNLP 25 main conference

💡 一句话要点

提出OBLIVIATE框架以解决大语言模型中的数据遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 机器遗忘 数据隐私 低秩适配器 模型微调 敏感信息处理 模型鲁棒性

📋 核心要点

  1. 现有的大语言模型在训练过程中容易记忆敏感信息，导致隐私和安全风险。
  2. OBLIVIATE框架通过提取目标数据并使用定制的损失函数，有效实现数据的去除，同时保持模型性能。
  3. 实验结果显示，OBLIVIATE在多个数据集上有效抵御成员推断攻击，并保持模型的流畅性和实用性。

📝 摘要（中文）

大语言模型（LLMs）在训练过程中可能会记忆敏感、受版权保护或有毒的内容。为了解决这一问题，本文提出了OBLIVIATE，一个强健的机器遗忘框架，能够在去除目标数据的同时保持模型的实用性。该框架遵循结构化流程：提取目标标记、构建保留集，并使用包含三部分的定制损失函数进行微调——掩蔽、蒸馏和世界事实。通过使用低秩适配器（LoRA），确保了效率而不影响遗忘质量。实验在多个数据集上进行，包括《哈利·波特》系列、WMDP和TOFU，使用全面的指标套件评估：遗忘质量（通过新的文档级记忆评分）、模型实用性和流畅性。结果表明，该框架在抵御成员推断攻击、最小化对保留数据的影响以及在多样场景中保持鲁棒性方面表现出色。

🔬 方法详解

问题定义：本文旨在解决大语言模型在训练过程中对敏感或有害内容的记忆问题。现有方法在去除特定数据时往往会影响模型的整体性能和实用性。

核心思路：OBLIVIATE框架的核心思想是通过结构化的流程提取目标标记，并构建保留集，以实现高效的机器遗忘，同时保持模型的实用性。

技术框架：该框架包括三个主要模块：提取目标标记、构建保留集和使用定制损失函数进行微调。损失函数由掩蔽、蒸馏和世界事实三部分组成，确保模型在去除不必要信息的同时，仍能保持良好的性能。

关键创新：OBLIVIATE的主要创新在于结合了低秩适配器（LoRA）技术，以提高遗忘过程的效率，同时不牺牲模型的质量。这一设计使得模型在去除特定数据时，能够更好地保持其原有的知识结构。

关键设计：在损失函数的设计上，掩蔽部分用于抑制目标数据的影响，蒸馏部分用于保持模型的知识传递，而世界事实部分则确保模型在去除数据后仍能保持对现实世界的理解。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，OBLIVIATE在多个数据集上表现优异，成功抵御了成员推断攻击，遗忘质量显著提高。具体而言，模型在去除特定数据后，流畅性和实用性保持在较高水平，且对保留数据的影响最小化，展示了其在实际应用中的有效性。

🎯 应用场景

OBLIVIATE框架具有广泛的应用潜力，尤其在需要保护用户隐私和数据安全的场景中，如社交媒体、在线教育和医疗领域。通过有效去除敏感信息，该框架能够帮助企业和机构遵循数据保护法规，同时保持模型的高效性和实用性。

📄 摘要（原文）

Large language models (LLMs) trained over extensive corpora risk memorizing sensitive, copyrighted, or toxic content. To address this, we propose \textbf{OBLIVIATE}, a robust unlearning framework that removes targeted data while preserving model utility. The framework follows a structured process: extracting target tokens, building retain sets, and fine-tuning with a tailored loss function comprising three components -- masking, distillation, and world fact. Using low-rank adapters (LoRA) ensures efficiency without compromising unlearning quality. We conduct experiments on multiple datasets, including Harry Potter series, WMDP, and TOFU, using a comprehensive suite of metrics: \emph{forget quality} (via a new document-level memorization score), \emph{model utility}, and \emph{fluency}. Results demonstrate its effectiveness in resisting membership inference attacks, minimizing the impact on retained data, and maintaining robustness across diverse scenarios.