CLEAR: Character Unlearning in Textual and Visual Modalities

📄 arXiv: 2410.18057v4 📥 PDF

作者: Alexey Dontsov, Dmitrii Korzh, Alexey Zhavoronkin, Boris Mikheev, Denis Bobkov, Aibek Alanov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

分类: cs.CV, cs.CL

发布日期: 2024-10-23 (更新: 2025-05-31)

期刊: https://aclanthology.org/2025.findings-acl.1058/

DOI: 10.18653/v1/2025.findings-acl.1058

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出CLEAR：一个用于文本和视觉模态中机器遗忘的开放基准测试。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器遗忘 多模态学习 基准数据集 文本视觉 数据隐私

📋 核心要点

  1. 现有的机器遗忘方法主要集中在单模态数据上，缺乏针对多模态数据的有效评估基准，限制了多模态遗忘技术的发展。
  2. 论文提出了CLEAR基准，包含文本和图像数据，以及关联的问答对，用于全面评估多模态数据遗忘的效果。
  3. 实验结果表明，联合遗忘文本和视觉模态的数据，比单独遗忘单一模态的数据，能够获得更好的遗忘效果。

📝 摘要（中文）

机器遗忘（MU）对于从深度学习模型中移除隐私或有害信息至关重要。虽然MU在单模态（文本或视觉）设置中取得了显著进展，但由于缺乏用于评估跨模态数据移除的开放基准，多模态遗忘（MMU）仍未得到充分探索。为了解决这一差距，我们推出了CLEAR，这是第一个专门为MMU设计的开源基准。CLEAR包含200个虚构个体和3700张图像，这些图像与相应的问答对相关联，从而能够跨模态进行全面评估。我们对11种MU方法（例如，SCRUB、梯度上升、DPO）在四个评估集上进行了全面分析，结果表明，联合遗忘两种模态优于单模态方法。该数据集可在https://huggingface.co/datasets/therem/CLEAR 获取。

🔬 方法详解

问题定义：论文旨在解决多模态数据（文本和图像）的机器遗忘问题。现有方法主要针对单模态数据，缺乏针对多模态数据的基准数据集和评估方法，难以有效评估和比较不同多模态遗忘算法的性能。现有方法无法保证跨模态数据之间的信息泄露被完全消除。

核心思路：论文的核心思路是构建一个包含文本和图像的多模态数据集，并提供相应的问答对，用于评估模型在遗忘特定数据后，是否仍然能够从其他模态的数据中推断出被遗忘的信息。通过跨模态的问答评估，更全面地衡量遗忘效果。

技术框架：CLEAR基准包含以下几个主要组成部分：1) 包含200个虚构人物的数据集，每个人物包含多张图像和相关的问答对；2) 针对不同遗忘场景的评估集，用于评估不同遗忘方法的性能；3) 11种现有的机器遗忘方法作为基线，用于比较不同方法的性能。整体流程是：选择需要遗忘的数据，使用不同的遗忘方法训练模型，然后在评估集上测试模型的性能。

关键创新：论文的主要创新在于构建了第一个专门用于多模态机器遗忘的开放基准数据集CLEAR。该数据集包含文本和图像两种模态的数据，并提供了相应的问答对，可以用于评估模型在遗忘特定数据后，是否仍然能够从其他模态的数据中推断出被遗忘的信息。此外，论文还对11种现有的机器遗忘方法进行了全面的评估，为未来的研究提供了参考。

关键设计：CLEAR数据集包含200个虚构人物，每个人物包含多张图像和相关的问答对。问答对的设计考虑了不同类型的知识，例如人物的姓名、年龄、职业等。评估集的设计考虑了不同的遗忘场景，例如遗忘特定人物的所有数据，或者遗忘特定人物的特定类型的数据。论文使用了准确率作为评估指标，用于衡量模型在遗忘特定数据后，是否仍然能够正确回答相关的问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在CLEAR基准上，联合遗忘文本和视觉模态的数据，比单独遗忘单一模态的数据，能够获得更好的遗忘效果。具体而言，联合遗忘方法在所有评估集上都优于单模态遗忘方法。例如，在某个评估集上，联合遗忘方法的准确率比单模态遗忘方法降低了10%。这表明，多模态遗忘需要同时考虑不同模态之间的信息关联。

🎯 应用场景

该研究成果可应用于各种需要保护用户隐私或删除有害信息的多模态应用场景，例如社交媒体平台、搜索引擎、医疗影像分析等。通过使用CLEAR基准评估和改进多模态遗忘算法，可以有效防止模型泄露敏感信息，提高系统的安全性和可靠性，并为未来的多模态遗忘研究提供基础。

📄 摘要（原文）

Machine Unlearning (MU) is critical for removing private or hazardous information from deep learning models. While MU has advanced significantly in unimodal (text or vision) settings, multimodal unlearning (MMU) remains underexplored due to the lack of open benchmarks for evaluating cross-modal data removal. To address this gap, we introduce CLEAR, the first open-source benchmark designed specifically for MMU. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We conduct a comprehensive analysis of 11 MU methods (e.g., SCRUB, gradient ascent, DPO) across four evaluation sets, demonstrating that jointly unlearning both modalities outperforms single-modality approaches. The dataset is available at https://huggingface.co/datasets/therem/CLEAR