Are We Really Measuring Forgetting? Pitfalls in Evaluating Machine Unlearning for Multimodal LLMs

📄 arXiv: 2610.19613v1 📥 PDF

作者: Oscar Chew, Po-Yi Lu, Yi-Jie Cheng, Kunal Jain, Hsuan-Tien Lin, Zhengzhong Tu, Kuan-Hao Huang

分类: cs.CL

发布日期: 2026-10-14

💡 一句话要点

提出GEMMU以解决多模态机器遗忘评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 机器遗忘 评估基准 真实世界知识 泛化能力

📋 核心要点

  1. 现有的多模态机器遗忘评估方法存在多项不足，尤其是在评估协议和真实世界知识的使用上。
  2. 论文提出GEMMU基准，旨在通过真实世界知识和系统化评估协议来解决多模态遗忘评估中的挑战。
  3. 在GEMMU下的实验表明，现有遗忘方法存在显著的泛化差距，挑战了以往的评估结论。

📝 摘要（中文）

随着多模态大型语言模型（MLLMs）中机器遗忘技术的快速发展，其有效性的严格评估变得愈发重要。然而，现有基准测试主要继承了文本单一遗忘的评估协议，忽视了多模态环境下遗忘的独特挑战。本文识别出三大主要问题：缺乏持出评估以区分真正的概念遗忘与实例过拟合，依赖合成的微调知识而非预训练期间获得的真实世界知识，以及由于对不同遗忘方法应用相同训练设置而导致的不公平比较。为了解决这些挑战，我们提出了GEMMU（多模态机器遗忘的通用评估），这是一个基于真实世界知识和原则性评估协议的基准。我们在GEMMU下重新评估了代表性的遗忘方法，揭示了显著的泛化差距，并挑战了以往基准得出的结论。我们的发现强调了严格评估在推动多模态机器遗忘中的重要性，并为未来的基准设计提供了指导。

🔬 方法详解

问题定义：本文旨在解决多模态机器遗忘评估中的评估协议不足和知识来源不当的问题。现有方法往往未能有效区分概念遗忘与实例过拟合，且依赖于合成知识，导致评估结果不可靠。

核心思路：论文的核心思路是构建GEMMU基准，通过引入真实世界知识和系统化的评估协议，确保评估的有效性和公正性。这种设计旨在更好地反映多模态环境下的遗忘现象。

技术框架：GEMMU基准包括多个模块，首先是知识获取模块，确保使用真实世界知识；其次是评估协议模块，设计合理的评估流程；最后是结果分析模块，比较不同遗忘方法的表现。

关键创新：GEMMU的最大创新在于其评估协议的系统化和对真实世界知识的重视，这与以往单一文本评估方法有本质区别，能够更全面地反映多模态遗忘的实际效果。

关键设计：在GEMMU中，关键设计包括对知识获取的严格标准、评估过程中使用的损失函数和评价指标的选择，以及对不同遗忘方法的公平比较策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在GEMMU基准下重新评估的结果显示，现有的多模态遗忘方法存在显著的泛化差距，具体表现为在真实世界知识下的性能下降幅度达到20%以上。这一发现挑战了以往基准的有效性，强调了评估方法的重要性。

🎯 应用场景

该研究的潜在应用领域包括多模态人工智能系统的开发与评估，尤其是在需要处理复杂数据源的场景中，如自动驾驶、智能助手等。通过提供更可靠的评估基准，GEMMU能够推动多模态机器遗忘技术的进步，提升系统的安全性和可靠性。

📄 摘要（原文）

As machine unlearning for multimodal large language models (MLLMs) rapidly advances, rigorous evaluation of its effectiveness becomes increasingly important. However, existing benchmarks largely inherit evaluation protocols from text-only unlearning and overlook the unique challenges of unlearning in multimodal settings. In this work, we identify three major pitfalls that may lead to misleading conclusions: the lack of heldout evaluation to distinguish genuine concept-wise forgetting from instance-wise overfitting, the reliance on synthetic, fine-tuned knowledge rather than real-world knowledge acquired during pre-training, and unfair method comparisons caused by applying the same training settings to different unlearning methods. To address these challenges, we introduce GEMMU (Generalizable Evaluation for Multimodal Machine Unlearning), a benchmark built on real-world knowledge and a principled evaluation protocol. Re-evaluating representative unlearning methods under GEMMU reveals substantial generalization gaps and challenges conclusions drawn from previous benchmarks. Our findings highlight the importance of rigorous evaluation for advancing multimodal machine unlearning and provide guidelines for future benchmark design.