Stochastic Meta-Unlearning: Bridging Language Backbone and Multimodal Unlearning

📄 arXiv: 2607.18615v1 📥 PDF

作者: Zijie Liu, Jinhao Duan, Gaowen Liu, Sijia Liu, Tianlong Chen

分类: cs.CL, cs.LG

发布日期: 2026-07-21

备注: 15 pages

💡 一句话要点

提出随机元遗忘以解决多模态模型的遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态学习 机器遗忘 随机元遗忘 深度学习 数据隐私 模型评估

📋 核心要点

  1. 现有的视觉语言模型在遗忘任务中面临挑战，单模态遗忘无法有效应用于多模态环境。
  2. 本文提出随机元遗忘（SMU），通过VLM级反馈实现语言骨干的遗忘准备初始化，增强遗忘的可靠性。
  3. 实验结果显示，SMU在多个数据集上超越了基线方法，显著提高了遗忘和保留的准确率。

📝 摘要（中文）

机器遗忘在视觉语言模型（VLMs）中的研究仍然较少。与语言模型不同，VLMs结合了语言骨干和视觉组件，使得遗忘过程更加复杂。研究发现，单模态遗忘时，语言骨干遗忘的目标在加入图像信息后仍可恢复，这表明仅依赖文本反馈不足以实现可靠的VLM遗忘。为此，本文提出了随机元遗忘（SMU），一个双层框架，通过VLM级反馈学习适合遗忘的初始化。在内层，SMU对语言骨干进行少量遗忘步骤；在外层，SMU将更新后的骨干与冻结的VLM重新组合，并在VLM级评估遗忘和效用。实验表明，SMU在遗忘与保留的权衡上表现最佳，平均遗忘准确率降低10.52个百分点，保留和测试准确率分别提高20.10和17.01个百分点。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型（VLMs）中的遗忘问题，现有方法在单模态遗忘时无法有效处理多模态信息，导致遗忘效果不佳。

核心思路：随机元遗忘（SMU）通过双层框架，利用VLM级反馈来学习适合遗忘的初始化，从而增强语言骨干的遗忘能力。内层进行语言骨干的局部更新，外层则评估整体VLM的遗忘效果。

技术框架：SMU的整体架构分为内层和外层两个阶段。内层使用文本数据对语言骨干进行少量遗忘步骤，外层则将更新后的骨干与冻结的VLM组合，并在VLM级别评估遗忘和效用。

关键创新：SMU的主要创新在于引入了VLM级反馈，使得语言骨干的遗忘过程能够考虑最终的多模态行为，从而提高遗忘的可靠性和可转移性。

关键设计：在设计中，SMU采用了特定的损失函数来平衡遗忘与保留的目标，并在网络结构上保持语言骨干的局部更新，同时确保与VLM的兼容性。实验中使用了多种数据集和基线进行对比，验证了方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SMU在多个视觉语言模型上实现了最佳的遗忘与保留权衡。与最强基线相比，SMU的平均遗忘准确率降低了10.52个百分点，同时保留和测试准确率分别提高了20.10和17.01个百分点，显示出其在遗忘任务中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、自然语言处理和计算机视觉等。通过提高视觉语言模型的遗忘能力，SMU可以在隐私保护、数据清理等场景中发挥重要作用，未来可能对智能系统的安全性和可靠性产生深远影响。

📄 摘要（原文）

Machine unlearning for vision-language models (VLMs) remains underexplored. Unlike language models, VLMs combine a language backbone with visual components, which makes unlearning more complex. There is a surprising phenomenon when moving from single-modality unlearning to VLM unlearning: a target forgotten by the standalone language backbone can still be recovered when image information is given to the full VLM. This shows that text-only feedback is not enough for reliable VLM unlearning. Motivated by this observation, we propose Stochastic Meta-Unlearning (SMU), a bilevel framework that uses VLM-level feedback to learn an unlearning-ready initialization. In the inner loop, SMU applies a few unlearning steps to the language backbone using text data. In the outer loop, SMU recomposes the updated backbone with the frozen VLM and evaluates forgetting and utility at the VLM level. This design makes the unlearning update aware of the final multimodal behavior, while still keeping the update local to the language backbone. Experiments on two VLMs, two multimodal meme datasets, and three baselines show that SMU achieves the best overall forget-retain trade-off. Compared with the strongest baseline for each metric, SMU reduces average Forget accuracy by 10.52 points and improves average Retain and Test accuracy by 20.10 and 17.01 points, respectively. More importantly, SMU also transfers to new forgetting targets and to different meta-test unlearning methods. These results suggest that VLM-level feedback can make language-backbone unlearning more reliable and more transferable for VLMs.