Open Vocabulary Domain Unlearning

📄 arXiv: 2609.31356v1 📥 PDF

作者: Sumanth Udupa, Mehrtash Harandi, Yadan Luo, Mahsa Baktashmotlagh

分类: cs.CV, cs.LG

发布日期: 2026-09-25

备注: Accepted in NeurIPS 2026

💡 一句话要点

提出开放词汇领域遗忘方法以解决视觉语言模型的偏见问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 领域遗忘 视觉语言模型 开放词汇 样本效率 机器学习 零-shot学习 风格几何

📋 核心要点

  1. 现有的近似领域遗忘方法在封闭词汇假设下运行，未能真正抹去目标领域，只是在特定类别上过拟合。
  2. 本文提出开放词汇领域遗忘（OVDU），通过手术参数编辑框架实现领域遗忘，确保对未见类别的有效性。
  3. 在PACS、OfficeHome和DomainNet数据集上评估，OVDU方法在开放词汇泛化上显著优于现有基线，且样本效率极高。

📝 摘要（中文）

视觉语言模型（VLMs）在零-shot泛化方面表现出色，但常常编码不必要或有害的风格领域，例如医学AI中的理想化教科书图或自动驾驶中的卡通车辆。近似领域遗忘（ADU）旨在选择性地抹去模型对目标视觉领域的识别，同时保持对其他领域的准确性。然而，现有ADU方法在封闭词汇假设下运行，导致它们仅在特定对象类别上评估遗忘，未能真正抹去领域。本文提出开放词汇领域遗忘（OVDU），通过手术参数编辑框架解决这一挑战，显著提高开放词汇泛化能力，并在样本效率上超越现有基线。

🔬 方法详解

问题定义：本文解决的问题是如何有效地抹去视觉语言模型对特定视觉领域的识别，同时保持对其他领域的准确性。现有方法在封闭词汇假设下评估遗忘，导致未能真正抹去领域，只是在特定类别上过拟合。

核心思路：论文的核心思路是提出开放词汇领域遗忘（OVDU），强调领域遗忘必须是类别无关的。通过手术参数编辑框架，确保对领域敏感的权重得到保护，同时有效散布遗忘领域的风格几何。

技术框架：整体架构包括两个主要模块：首先，使用Fisher信息掩码隔离领域敏感权重，保护基础的零-shot泛化；其次，采用目标流形散射（TMS）目标，通过基于偏好的挖掘局部散布遗忘领域的风格几何。

关键创新：最重要的技术创新点在于OVDU的提出，它与现有方法的本质区别在于强调领域遗忘的类别无关性，确保对未见类别的有效性。

关键设计：关键设计包括Fisher信息掩码的使用，以隔离领域敏感权重，以及TMS目标的设计，利用偏好挖掘实现局部散布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PACS、OfficeHome和DomainNet数据集上的实验结果显示，OVDU方法在开放词汇泛化上显著优于现有基线，样本效率极高，仅使用4个样本便超越了8-shot基线的性能，展示了其卓越的效果。

🎯 应用场景

该研究的潜在应用领域包括医疗AI、自动驾驶等需要处理视觉信息的领域。通过有效抹去不必要的风格领域，模型能够更好地适应真实世界的多样性，减少偏见和误识别的风险，提升系统的安全性和可靠性。

📄 摘要（原文）

Vision-Language Models (VLMs) exhibit remarkable zero-shot generalization, yet they often encode unwanted or hazardous stylistic domains such as idealized textbook diagrams in medical AI or cartoon vehicles in autonomous driving. Approximate Domain Unlearning (ADU) aims to selectively erase a model's recognition of a target visual domain while preserving accuracy on the remaining domains. However, existing ADU methods operate under a flawed closed-vocabulary assumption: they evaluate unlearning solely on the specific object classes seen during the unlearning fine-tuning phase. Consequently, these methods do not unlearn the domain itself; they merely overfit to seen class-domain pairs, leaving the domain easily recognizable for unseen classes and providing a false sense of removal. We argue that true domain erasure must be class-agnostic. To address this, we formalize Open-Vocabulary Domain Unlearning (OVDU), a rigorous protocol that mandates domain forgetting must transfer to held-out classes. To solve the OVDU challenge, we propose a surgical parameter-editing framework. First, a Fisher Information mask isolates domain-sensitive weights, mathematically protecting foundational zero-shot generalization. Second, our Targeted Manifold Scattering (TMS) objective uses preference-based mining to locally scatter the forget domain's stylistic geometry. Evaluated across PACS, OfficeHome, and DomainNet, our method vastly improves open-vocabulary generalization over existing baselines. Crucially, it delivers exceptional sample efficiency, outperforming peak 8-shot baseline results with only 4 shots.