Towards Robust Evaluation of Unlearning in LLMs via Data Transformations

📄 arXiv: 2411.15477v1 📥 PDF

作者: Abhinav Joshi, Shaswati Saha, Divyaksh Shukla, Sriram Vema, Harsh Jhamtani, Manas Gaur, Ashutosh Modi

分类: cs.CL, cs.AI, cs.CY, cs.LG

发布日期: 2024-11-23

备注: Accepted at EMNLP 2024 Findings; 21 pages (5 page main content + references + appendix)

💡 一句话要点

通过数据变换评估LLM的不可学习性，揭示现有方法的脆弱性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器不可学习 数据变换 鲁棒性评估 信息泄露

📋 核心要点

  1. 现有机器不可学习(MUL)技术在大型语言模型(LLM)中存在脆弱性，容易受到数据格式变化的影响。
  2. 通过数据变换，例如改变输入格式，来评估LLM的不可学习性，从而更可靠地量化遗忘效果。
  3. 在TOFU数据集上的实验表明，需要使用多样化的数据格式来评估LLM的不可学习性，以避免信息泄露。

📝 摘要（中文）

大型语言模型(LLM)在各种应用中取得了巨大成功。LLM在大量文本语料库上进行训练，尽管在数据预处理阶段尽了最大努力，但它们可能会包含一些不良信息，例如个人身份信息(PII)。因此，近来，机器不可学习(MUL)领域的研究变得活跃起来，其主要思想是强制LLM忘记(不可学习)某些信息(例如，PII)，而不会在常规任务上遭受性能损失。在这项工作中，我们检验了现有MUL技术的鲁棒性，以评估它们在LLM中实现防泄漏遗忘的能力。我们特别研究了数据转换对遗忘的影响，即，如果输入格式发生变化，不可学习的LLM是否能够回忆起遗忘的信息？我们在TOFU数据集上的发现强调了使用多样化的数据格式来更可靠地量化LLM中的不可学习性的必要性。

🔬 方法详解

问题定义：论文旨在解决现有机器不可学习(MUL)方法在大型语言模型(LLM)中存在的鲁棒性问题。现有方法在评估遗忘效果时，往往忽略了输入数据格式变化的影响，导致评估结果不准确，可能存在信息泄露的风险。当输入数据经过简单变换后，原本应该被遗忘的信息可能被重新提取出来，这表明现有的MUL方法并不能真正实现彻底的遗忘。

核心思路：论文的核心思路是通过引入数据变换来评估LLM的不可学习性。具体来说，就是改变输入数据的格式，例如改变句子结构、使用同义词替换等，然后观察经过不可学习处理的LLM是否仍然能够回忆起原本应该被遗忘的信息。如果LLM在数据变换后仍然能够回忆起这些信息，则说明现有的MUL方法存在漏洞，需要进一步改进。

技术框架：论文的技术框架主要包括以下几个步骤：1) 选择或构建包含需要遗忘信息的原始数据集；2) 使用现有的MUL方法对LLM进行不可学习处理；3) 对原始数据集进行数据变换，生成新的测试数据集；4) 使用新的测试数据集评估经过不可学习处理的LLM的遗忘效果；5) 分析实验结果，评估现有MUL方法的鲁棒性。

关键创新：论文的关键创新在于提出了使用数据变换来评估LLM不可学习性的方法。这种方法能够更全面、更准确地评估现有MUL方法的鲁棒性，发现潜在的信息泄露风险。与传统的评估方法相比，该方法能够更好地模拟真实场景中可能遇到的各种输入数据格式，从而更有效地评估LLM的遗忘效果。

关键设计：论文的关键设计包括：1) 数据变换策略的选择，需要选择具有代表性的、能够有效改变输入数据格式的变换方法；2) 评估指标的选择，需要选择能够准确反映LLM遗忘效果的指标，例如准确率、召回率等；3) 对比基线的选择，需要选择具有代表性的现有MUL方法作为对比基线，以便评估所提出方法的优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过在TOFU数据集上进行实验，揭示了现有MUL方法在数据变换下的脆弱性。实验结果表明，即使LLM经过不可学习处理，在输入数据格式发生变化后，仍然可能回忆起原本应该被遗忘的信息。这表明现有方法在实际应用中可能存在信息泄露的风险，需要进一步改进。

🎯 应用场景

该研究成果可应用于对LLM进行安全性和隐私保护的评估和改进。通过更可靠地评估LLM的不可学习性，可以帮助开发者构建更加安全可靠的LLM，防止敏感信息泄露，从而在医疗、金融等对数据安全要求较高的领域得到更广泛的应用。此外，该研究也有助于推动机器不可学习领域的发展，为设计更有效的不可学习算法提供指导。

📄 摘要（原文）

Large Language Models (LLMs) have shown to be a great success in a wide range of applications ranging from regular NLP-based use cases to AI agents. LLMs have been trained on a vast corpus of texts from various sources; despite the best efforts during the data pre-processing stage while training the LLMs, they may pick some undesirable information such as personally identifiable information (PII). Consequently, in recent times research in the area of Machine Unlearning (MUL) has become active, the main idea is to force LLMs to forget (unlearn) certain information (e.g., PII) without suffering from performance loss on regular tasks. In this work, we examine the robustness of the existing MUL techniques for their ability to enable leakage-proof forgetting in LLMs. In particular, we examine the effect of data transformation on forgetting, i.e., is an unlearned LLM able to recall forgotten information if there is a change in the format of the input? Our findings on the TOFU dataset highlight the necessity of using diverse data formats to quantify unlearning in LLMs more reliably.