Open-MMUnlearning: Unifying Methods and Evaluation for MLLM Unlearning
作者: Junkai Chen, Yuhao He, Qianshan Wei, Junxiang You, Jingwen Shao, Junkai Lin, Zhongkai Yue, Xiaotian Ye, Zhengbo Jiao, Jiali Cheng, Zhijie Deng, Kening Zheng, Ruiqi Liu, Hadi Amiri, Yi Yu, Zhenan Sun, Qi Li, Ka-Ho Chow, Sijia Liu, Liang Wang, Jiaqi Li, Shu Wu
分类: cs.AI
发布日期: 2026-10-07
💡 一句话要点
提出Open-MMUnlearning以解决多模态大语言模型的去学习问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 机器去学习 隐私保护 评估框架 模型鲁棒性 开源技术 数据处理 评估指标
📋 核心要点
- 现有的多模态大语言模型去学习方法实施分散，评估协议不统一，导致系统性评估困难。
- Open-MMUnlearning框架整合了模型准备、数据处理、去学习和评估，提供统一接口和配置。
- 通过对十种代表性去学习方法的比较，发现GD在遗忘质量上表现最佳，而MIP-Editor在模型效用上更具优势。
📝 摘要（中文）
随着多模态大语言模型（MLLMs）的能力提升和广泛应用，隐私和安全问题日益突出。机器去学习提供了一种解决方案，通过从训练模型中移除特定信息，同时保留无关能力。然而，现有方法的实施和评估协议碎片化，缺乏全面的鲁棒性测试和对指标可靠性的理解，使得MLLM去学习的系统性评估变得困难。为此，我们提出了Open-MMUnlearning，这是一个开源、可扩展的框架，整合了目标模型准备、多模态数据处理、去学习和评估，通过共享接口和结构化配置实现。该框架支持涵盖隐私、安全和版权的五个基准，八个来自四个模型家族的MLLM，以及十二种去学习方法。
🔬 方法详解
问题定义：本论文旨在解决多模态大语言模型（MLLMs）去学习过程中的实施碎片化、评估不一致和鲁棒性不足等问题。现有方法缺乏系统性评估，导致难以比较不同去学习方法的有效性。
核心思路：提出Open-MMUnlearning框架，通过整合目标模型准备、多模态数据处理、去学习和评估，提供一个统一的开源平台，便于研究人员进行去学习方法的比较和评估。
技术框架：该框架包括多个模块：目标模型准备、数据处理、去学习方法实现和评估套件。评估套件能够共同评估遗忘效果、保留效用以及对模型干预、对抗输入和成员推断攻击的鲁棒性。
关键创新：Open-MMUnlearning的主要创新在于其开放性和可扩展性，支持多种去学习方法和评估指标，能够实现对去学习方法的可重复比较和评估。与现有方法相比，该框架提供了更系统和全面的评估机制。
关键设计：框架中设置了多个关键参数和损失函数，以确保去学习过程的有效性和模型的鲁棒性。此外，评估指标的选择和设计也经过精心考量，以确保其可靠性和有效性。具体而言，BLEU指标在评估中表现出最高的可靠性得分。
🖼️ 关键图片
📊 实验亮点
在对十种代表性去学习方法的比较中，GD和MIP-Editor的整体得分最高，其中GD在遗忘质量上表现最佳，而MIP-Editor在保留模型效用方面更具优势。此外，BLEU指标在十三个评估指标中获得了最高的可靠性得分，表明该框架在评估方法的设计上具有显著优势。
🎯 应用场景
Open-MMUnlearning框架在隐私保护、安全性和版权管理等领域具有广泛的应用潜力。通过有效的去学习机制，能够帮助企业和研究机构在使用多模态大语言模型时，确保用户数据的安全性和隐私性，降低潜在的法律风险。未来，该框架还可以扩展到更多的模型和应用场景，推动去学习技术的发展。
📄 摘要（原文）
As multimodal large language models (MLLMs) become more capable and widely deployed, concerns about privacy and safety have become increasingly pressing. Machine unlearning offers one approach to addressing these concerns by removing designated information from trained models while preserving unrelated capabilities. However, fragmented implementations and evaluation protocols, incomplete robustness testing, and limited understanding of metric reliability make progress in MLLM unlearning difficult to assess systematically. We introduce Open-MMUnlearning, an open-source, extensible framework that integrates target-model preparation, multimodal data processing, unlearning, and evaluation through shared interfaces and structured configurations. The framework supports five benchmarks spanning privacy, safety, and copyright, eight MLLMs from four model families, and twelve unlearning methods. Its evaluation suite jointly assesses forgetting effectiveness, retained utility, and robustness to model interventions, adversarial inputs, and membership inference attacks. Using a common evaluation protocol, we compare ten representative unlearning methods. In this comparison, GD and MIP-Editor tie for the highest overall score: GD achieves the highest Forget Quality, while MIP-Editor preserves more Model Utility. We further introduce a metric meta-evaluation protocol that tests faithfulness using models with controlled exposure to target knowledge and robustness under quantization and relearning. Among the thirteen evaluated metrics, BLEU achieves the highest aggregate reliability score. KS-Test attains the highest faithfulness AUC but performs less well on robustness. Together, the framework and these findings support reproducible comparison of MLLM unlearning methods and systematic assessment of evaluation reliability.