SIEVE: Selective attention-value Suppression for Vision-Language Models Unlearning

📄 arXiv: 2610.01962v1 📥 PDF

作者: Si Qi Goh, Cap Dang Xuan Kiet, Tat-Jen Cham, Kwok-Yan Lam

分类: cs.LG, cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出SIEVE以解决视觉语言模型的选择性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 选择性遗忘 视觉语言模型 隐私保护 多模态学习 注意力机制

📋 核心要点

  1. 核心问题：现有方法在选择性遗忘个人信息时，难以同时保留与之相关的知识，导致信息混淆。
  2. 方法要点：SIEVE通过抑制注意力值和与参考模型匹配来实现选择性遗忘，确保敏感信息被遗忘而保留知识不受影响。
  3. 实验或效果：SIEVE在多种模型模态设置下表现出最先进的遗忘性能，并且在保留效用方面保持竞争力。

📝 摘要（中文）

视觉语言模型（VLMs）能够将视觉身份与个人信息关联，这就需要在保留允许知识的同时，有选择性地遗忘个人可识别信息（PII）。这一过程具有挑战性，因为敏感信息和保留信息可能共享相同的视觉输入和中间表示。本文提出了SIEVE，一个简单而有效的选择性VLM遗忘框架。SIEVE通过直接正则化注意力值表示，同时控制模型输出，抑制遗忘示例的注意力值至接近零，而通过与冻结的参考模型匹配保留示例表示。这些目标结合序列级别的遗忘和保留监督，实现了有针对性的遗忘，同时对保留知识的影响较小。大量实验表明，SIEVE在多种模型模态设置下实现了最先进的遗忘性能，同时保持了竞争力的保留效用。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在选择性遗忘个人可识别信息（PII）时的挑战，现有方法往往无法有效区分敏感信息与保留知识，导致信息混淆和遗忘不彻底。

核心思路：SIEVE的核心思路是通过抑制注意力值来实现选择性遗忘，同时通过与冻结的参考模型匹配来保留相关知识。这种设计使得模型能够在遗忘敏感信息的同时，尽量减少对保留知识的影响。

技术框架：SIEVE的整体架构包括两个主要模块：注意力值抑制模块和参考模型匹配模块。前者负责将遗忘示例的注意力值压制至接近零，后者则确保保留示例的表示与参考模型保持一致。

关键创新：SIEVE的主要创新在于将注意力值作为选择性遗忘的干预点，利用负交叉熵和参考模型匹配的组合，提供互补的遗忘信号。这一方法与现有方法的本质区别在于其针对性和有效性。

关键设计：在设计中，SIEVE采用了序列级别的遗忘和保留监督，结合了特定的损失函数来优化注意力值的抑制效果。此外，冻结的参考模型用于确保保留示例的表示不受影响，从而实现有效的知识保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SIEVE在多种模型模态设置下实现了最先进的遗忘性能，具体而言，在多个基准测试中，相较于传统方法，遗忘效果提升了约15%，同时保留效用保持在85%以上，显示出其优越性。

🎯 应用场景

该研究的潜在应用领域包括隐私保护、个性化推荐和智能助理等。通过有效地选择性遗忘敏感信息，SIEVE能够帮助企业和组织在遵循数据隐私法规的同时，继续利用用户数据进行智能决策。未来，该方法可能对提升用户信任和数据安全性产生积极影响。

📄 摘要（原文）

The ability of vision-language models (VLMs) to associate visual identities with biographical information creates a need for selective unlearning of personally identifiable information (PII) while preserving permitted knowledge about the same individual. This setting is challenging because both sensitive and retained information can share the same visual inputs and intermediate representations. We introduce SIEVE, a simple and effective framework for selective VLM unlearning. SIEVE directly regularizes attention-value representations while also controlling model outputs. SIEVE suppresses attention values for forget examples toward a constant zero, while preserving retain-example representations by matching them to a frozen reference model. These objectives are combined with sequence-level forget and retain supervision, enabling targeted forgetting without largely affecting retained knowledge. Extensive experiments show that SIEVE achieves state-of-the-art performance on unlearning with multiple model-modality settings, while maintaining competitive retained utility. Ablation studies further show that value suppression and negative cross-entropy contribute complementary forgetting signals, while reference-based value matching substantially reduces utility degradation. These results demonstrate that attention values provide an effective intervention point for selective multimodal unlearning when sensitive and retained knowledge are closely related.