Not All Data Are Unlearned Equally
作者: Aravind Krishnan, Siva Reddy, Marius Mosbach
分类: cs.CL
发布日期: 2025-04-07 (更新: 2025-09-01)
备注: Accepted at COLM 2025
💡 一句话要点
揭示LLM中数据频率对不可学习性的影响，强调评估与方法改进
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器遗忘 大型语言模型 数据频率 隐私保护 评估方法 知识遗忘 预训练数据
📋 核心要点
- 现有机器遗忘方法平等对待所有待遗忘数据，忽略了数据频率可能带来的影响。
- 本文研究了知识频率对LLM遗忘的影响，发现高频知识更难被遗忘，并探究了评估方法的不一致性。
- 实验表明，需要开发考虑训练数据的新型遗忘方法，并改进LLM遗忘的评估标准。
📝 摘要（中文）
本文研究了大型语言模型（LLM）中机器遗忘的问题，重点关注从模型中移除特定数据点所学到的知识。与以往方法不同，本文指出并非所有数据都同等容易被遗忘。研究表明，知识在模型预训练数据中出现的频率显著影响遗忘的难易程度，即更频繁的知识更难被遗忘。此外，本文还揭示了基于概率和基于生成的遗忘评估方法之间的不一致性，并且这种不一致性随着模型规模的增大而加剧。实验结果强调了改进评估方法和开发考虑模型训练数据的新型LLM遗忘方法的必要性。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLM）中机器遗忘任务中存在的“一视同仁”问题。现有方法在执行遗忘时，通常不考虑待遗忘知识在预训练数据中的频率，这导致遗忘效果不佳，尤其是在处理高频知识时。此外，现有的基于概率和基于生成的评估方法存在不一致性，难以准确评估遗忘效果。
核心思路：论文的核心思路是打破“所有数据都同等可遗忘”的假设，认为知识的遗忘难度与其在预训练数据中的频率相关。通过实验验证这一假设，并分析不同评估方法之间的差异，从而为未来的遗忘方法设计提供指导。
技术框架：本文主要通过实验分析来研究遗忘效果与知识频率之间的关系。具体而言，首先构建包含不同频率知识的数据集，然后使用现有的遗忘方法（具体方法未知，论文未详细说明）对LLM进行遗忘训练。最后，使用基于概率和基于生成的评估方法来评估遗忘效果，并分析结果。
关键创新：论文的关键创新在于揭示了知识频率对LLM遗忘难度的影响。这是对现有遗忘方法的一个重要补充，因为现有方法通常忽略了这一因素。此外，论文还指出了不同评估方法之间存在不一致性，这为未来的评估方法设计提供了新的视角。
关键设计：论文的关键设计在于实验数据集的构建，需要控制待遗忘知识的频率，以便研究其对遗忘效果的影响。具体的频率控制方法和数据集构建细节未知。此外，论文还使用了两种不同的评估方法：基于概率的评估和基于生成的评估，具体评估指标未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，知识在预训练数据中出现的频率越高，遗忘的难度越大。同时，基于概率和基于生成的评估方法在评估遗忘效果时存在显著差异，并且这种差异随着模型规模的增大而加剧。这些发现强调了现有遗忘方法和评估标准的局限性，为未来的研究方向提供了重要启示。
🎯 应用场景
该研究成果可应用于提升LLM的隐私保护能力，例如移除模型中包含的个人身份信息（PII）或敏感数据。通过考虑知识频率，可以更有效地遗忘这些信息，降低模型泄露隐私的风险。此外，该研究还可以指导LLM的持续学习和知识更新，使其能够更好地适应新的信息环境。
📄 摘要（原文）
Machine unlearning is concerned with the task of removing knowledge learned from particular data points from a trained model. In the context of large language models (LLMs), unlearning has recently received increased attention, particularly for removing knowledge about named entities from models for privacy purposes. While various approaches have been proposed to address the unlearning problem, most existing approaches treat all data points to be unlearned equally, i.e., unlearning that Montreal is a city in Canada is treated exactly the same as unlearning the phone number of the first author of this paper. In this work, we show that this all data is equal assumption does not hold for LLM unlearning. We study how the success of unlearning depends on the frequency of the knowledge we want to unlearn in the pre-training data of a model and find that frequency strongly affects unlearning, i.e., more frequent knowledge is harder to unlearn. Additionally, we uncover a misalignment between probability and generation-based evaluations of unlearning and show that this problem worsens as models become larger. Overall, our experiments highlight the need for better evaluation practices and novel methods for LLM unlearning that take the training data of models into account.