CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic
作者: Shen Lin, Junhao Dong, Rongjie Chen, Xiaoyu Zhang, Li Xu, Xiaofeng Chen
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-05-18
💡 一句话要点
提出CATA，通过冲突规避的任务算术实现视觉-语言模型的持续机器卸载
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续学习 机器卸载 视觉-语言模型 任务算术 冲突规避
📋 核心要点
- 现有VLM卸载方法主要关注单次卸载，无法有效应对实际应用中频繁出现的持续卸载请求。
- CATA将每个遗忘请求表示为卸载任务向量，通过冲突规避聚合抑制削弱遗忘效果的更新。
- 实验表明，CATA在遗忘有效性、模型保真度和遗忘持久性方面均优于现有基线方法。
📝 摘要（中文）
视觉-语言模型(VLM)在对齐视觉和文本表示方面表现出卓越的能力，从而实现了广泛的多模态应用。然而，其大规模的训练数据不可避免地引起了对隐私、版权和不良内容的担忧，从而产生了对机器卸载的强烈需求。虽然现有的研究主要集中在单次卸载上，但实际的VLM部署通常涉及随时间推移的顺序移除请求，从而产生了持续的机器卸载。在这项工作中，我们首次尝试研究VLM的持续卸载，并确定了该设置中的三个关键挑战：移除目标知识的有效性、保持模型效用的保真度以及防止知识在顺序更新下重新出现的持久性。为了应对这些挑战，我们提出了一种冲突规避的任务算术方法CATA，该方法将每个遗忘请求表示为一个卸载任务向量。通过维护历史任务向量并执行符号感知的冲突规避聚合，CATA抑制了可能削弱先前遗忘效果的冲突更新组件。在单次和持续设置下进行的大量实验表明，CATA在遗忘有效性、模型保真度和遗忘持久性方面优于基线。
🔬 方法详解
问题定义：论文旨在解决视觉-语言模型（VLM）的持续机器卸载问题。现有的卸载方法大多针对单次卸载，无法有效处理实际应用中需要顺序移除知识的场景。持续卸载面临三个主要挑战：一是有效移除目标知识，二是保持模型在移除知识后的原有性能（模型保真度），三是防止已移除的知识在后续更新中重新出现（遗忘持久性）。
核心思路：论文的核心思路是将每个遗忘请求视为一个独立的“卸载任务”，并用一个向量来表示。通过维护历史卸载任务向量，并在新的卸载任务到来时，采用冲突规避的聚合策略，抑制那些与历史遗忘任务冲突的更新方向。这样可以避免新的更新抵消之前的遗忘效果，从而提高持续卸载的性能。
技术框架：CATA方法主要包含以下几个阶段：1. 任务向量表示：将每个遗忘请求转化为一个卸载任务向量。2. 历史向量维护：维护一个历史卸载任务向量的集合。3. 冲突规避聚合：当新的卸载任务到来时，计算其与历史向量的冲突程度，并调整更新方向，抑制冲突的更新分量。4. 模型更新：使用调整后的更新方向来更新VLM模型。
关键创新：CATA的关键创新在于其冲突规避的聚合策略。传统的任务算术方法直接将多个任务向量进行加权平均，而CATA则考虑了不同任务之间的冲突，通过符号感知的聚合方式，抑制那些可能削弱先前遗忘效果的更新分量。这种方法能够更有效地保持遗忘的持久性。
关键设计：CATA的关键设计在于如何量化和规避任务向量之间的冲突。论文采用符号感知的聚合方式，具体来说，对于每个更新分量，如果其与历史向量的对应分量符号相反，则认为存在冲突，并对其进行抑制。具体的抑制程度可以通过一个超参数来控制。此外，历史向量的维护策略也会影响最终的性能，例如可以采用滑动窗口的方式，只保留最近的若干个历史向量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CATA在单次和持续卸载设置下均优于基线方法。在遗忘有效性方面，CATA能够更彻底地移除目标知识；在模型保真度方面，CATA能够更好地保持模型在移除知识后的原有性能；在遗忘持久性方面，CATA能够更有效地防止已移除的知识在后续更新中重新出现。具体性能提升数据未知。
🎯 应用场景
CATA方法可应用于各种需要持续机器卸载的视觉-语言模型应用场景，例如：1) 移除包含隐私信息的训练数据；2) 应对版权纠纷，移除侵权内容；3) 过滤掉模型生成的不良或有害内容。该研究有助于提升VLM的安全性、合规性和可靠性，促进其在更广泛领域的应用。
📄 摘要（原文）
Vision-language models (VLMs) have shown remarkable ability in aligning visual and textual representations, enabling a wide range of multimodal applications. However, their large-scale training data inevitably raises concerns about privacy, copyright, and undesirable content, creating a strong need for machine unlearning. While existing studies mainly focus on single-shot unlearning, practical VLM deployment often involves sequential removal requests over time, giving rise to continual machine unlearning. In this work, we make the first attempt to study continual unlearning for VLMs and identify three key challenges in this setting: effectiveness in removing target knowledge, fidelity in preserving retained model utility, and persistence in preventing knowledge re-emergence under sequential updates. To address these challenges, we propose CATA, a conflict-averse task arithmetic method that represents each forget request as an unlearning task vector. By maintaining historical task vectors and performing sign-aware conflict-averse aggregation, CATA suppresses conflicting update components that may weaken previous forgetting effects. Extensive experiments under both single-shot and continual settings show that CATA outperforms baselines in terms of forgetting effectiveness, model fidelity, and forgetting persistence.