RESTOR: Knowledge Recovery in Machine Unlearning
作者: Keivan Rezaei, Khyathi Chandu, Soheil Feizi, Yejin Choi, Faeze Brahman, Abhilasha Ravichander
分类: cs.CL
发布日期: 2024-10-31 (更新: 2025-05-26)
备注: Accepted to TMLR 2025
💡 一句话要点
RESTOR框架：评估机器学习模型在数据遗忘中的知识恢复能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器学习遗忘 知识恢复 模型评估 数据擦除 语言模型
📋 核心要点
- 现有遗忘算法评估方法依赖启发式，无法全面评估数据删除对模型知识状态的影响。
- RESTOR框架通过评估模型遗忘目标数据知识并恢复原始知识状态的能力来评估遗忘算法。
- 实验表明，某些遗忘算法侧重于遗忘而非恢复，且精确定位遗忘目标能提升遗忘效果。
📝 摘要（中文）
在大规模语料库上训练的语言模型可能会记住不希望的数据，包括错误信息、受版权保护的材料或私人/敏感信息。最近，一些机器学习遗忘算法被提出，旨在消除这些数据点对训练模型的影响，即近似一个从未在这些数据点上训练过的模型。然而，评估遗忘算法的有效性仍然是一个公开的挑战。先前的工作依赖于启发式方法，例如验证模型是否不再重现目标删除的特定信息，同时保持在不相关测试数据上的准确性。这些方法不足以捕捉逆转数据点对训练模型影响的完整效果。在这项工作中，我们提出了用于机器学习遗忘评估的RESTOR框架，通过评估模型忘记这些数据点中引入的知识的能力，同时恢复模型从未遇到这些数据点时的知识状态，来评估遗忘算法在目标数据擦除方面的能力。RESTOR有助于揭示关于流行遗忘算法及其运行机制的几个新颖见解，例如，识别出一些算法仅仅强调遗忘而不恢复知识，以及定位遗忘目标可以提高遗忘性能。
🔬 方法详解
问题定义：论文旨在解决机器学习遗忘算法的评估问题。现有评估方法，如验证模型是否不再重现删除的数据，或在不相关数据上保持准确性，无法充分衡量遗忘算法对模型知识状态的全面影响。这些方法无法区分是真正“遗忘”了知识，还是仅仅抑制了特定信息的输出，也无法评估模型是否恢复到未学习该数据的状态。
核心思路：RESTOR框架的核心思路是同时评估遗忘算法的两个关键能力：一是“遗忘”能力，即模型不再包含目标删除数据中的知识；二是“恢复”能力，即模型恢复到未学习目标数据时的知识状态。通过同时考察这两个方面，可以更全面地评估遗忘算法的有效性。
技术框架：RESTOR框架包含以下主要组成部分：1) 定义需要遗忘的目标数据；2) 使用遗忘算法处理训练好的模型；3) 设计评估指标，同时衡量模型遗忘目标数据知识的能力和恢复原始知识状态的能力。评估指标可能包括在目标数据相关任务上的性能下降，以及在与目标数据无关的任务上的性能保持或提升。框架的具体实现依赖于具体的模型和遗忘算法。
关键创新：RESTOR框架的关键创新在于其双重评估标准，即同时关注遗忘和恢复。这与以往只关注模型是否不再输出目标删除数据的方法不同，能够更准确地评估遗忘算法的真正效果。此外，RESTOR框架提供了一个通用的评估框架，可以用于比较不同的遗忘算法，并分析它们的优缺点。
关键设计：RESTOR框架的具体设计取决于所评估的模型和遗忘算法。例如，对于语言模型，目标数据可以是包含特定事实的句子，遗忘算法可以是基于梯度的方法或知识蒸馏的方法。评估指标可以包括模型在相关问答任务上的准确率，以及在通用语言理解任务上的性能。关键设计在于如何选择合适的评估任务和指标，以准确反映模型的遗忘和恢复能力。
🖼️ 关键图片
📊 实验亮点
RESTOR框架的实验结果表明，不同的遗忘算法在遗忘和恢复能力上存在差异。一些算法可能更擅长遗忘，但恢复能力较弱，导致模型整体性能下降。此外，实验还表明，精确定位遗忘目标可以提高遗忘算法的性能，减少对模型其他知识的影响。这些发现为改进遗忘算法的设计提供了有价值的指导。
🎯 应用场景
RESTOR框架可应用于评估各种机器学习模型的遗忘算法，尤其是在需要处理敏感数据或错误信息的场景下，例如大型语言模型、推荐系统和图像识别系统。该框架有助于选择合适的遗忘算法，确保模型能够有效删除不需要的数据，同时保持其通用性能。这对于保护用户隐私、防止模型传播错误信息至关重要。
📄 摘要（原文）
Large language models trained on web-scale corpora can memorize undesirable data containing misinformation, copyrighted material, or private or sensitive information. Recently, several machine unlearning algorithms have been proposed to eliminate the effect of such datapoints from trained models -- that is, to approximate a model that had never been trained on these datapoints in the first place. However, evaluating the effectiveness of unlearning algorithms remains an open challenge. Previous work has relied on heuristics -- such as verifying that the model can no longer reproduce the specific information targeted for removal while maintaining accuracy on unrelated test data. These approaches inadequately capture the complete effect of reversing the influence of datapoints on a trained model. In this work, we propose the RESTOR framework for machine unlearning evaluation, which assesses the ability of unlearning algorithms for targeted data erasure, by evaluating the ability of models to forget the knowledge introduced in these datapoints, while simultaneously recovering the model's knowledge state had it never encountered these datapoints. RESTOR helps uncover several novel insights about popular unlearning algorithms, and the mechanisms through which they operate -- for instance, identifying that some algorithms merely emphasize forgetting but not recovering knowledge, and that localizing unlearning targets can enhance unlearning performance.