Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU
作者: Àlex Pujol Vidal, Sergio Escalera, Kamal Nasrollahi, Thomas B. Moeslund
分类: cs.CV, cs.AI, cs.CL, cs.LG, cs.MM
发布日期: 2025-03-19 (更新: 2025-04-14)
备注: Preprint
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于双曲空间的MERU模型解耦方法，实现多模态对比学习中的概念遗忘
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器学习遗忘 双曲空间 对比学习 多模态学习 概念移除
📋 核心要点
- 现有欧几里得空间对比学习模型在概念遗忘方面存在局限，难以有效移除特定概念且影响模型整体性能。
- 论文提出在双曲空间中进行概念遗忘，利用双曲几何的特性，通过对齐校准和范数正则化实现更精确的概念移除。
- 实验表明，该方法在双曲空间中能实现近乎完美的遗忘效果，同时保持在保留概念上的良好性能，尤其在多概念移除时。
📝 摘要（中文）
机器学习遗忘方法在大型预训练模型中选择性地移除概念变得越来越重要。虽然最近的工作已经探索了在欧几里得对比视觉-语言模型中的遗忘，但双曲空间中概念移除的有效性仍未被探索。本文通过将对齐校准调整到MERU，研究了双曲对比学习中的机器学习遗忘，MERU是一种将图像和文本嵌入到双曲空间以更好地捕获语义层次结构的模型。通过系统的实验和消融研究，我们证明了双曲几何为概念移除提供了独特的优势，在保留概念上实现了接近完美的遗忘和合理的性能，尤其是在扩展到多个概念移除时。我们的方法引入了双曲特定的组件，包括蕴含校准和范数正则化，利用了双曲空间的独特属性。与欧几里得模型的比较分析揭示了遗忘动态的根本差异，双曲遗忘重组了语义层次结构，而欧几里得方法仅仅断开了跨模态关联。这些发现不仅推进了机器学习遗忘技术，而且还提供了对几何属性的见解，这些几何属性影响了多模态模型中的概念表示和移除。
🔬 方法详解
问题定义：论文旨在解决多模态对比学习模型中概念遗忘的问题。现有的基于欧几里得空间的对比学习模型在进行概念遗忘时，往往难以精确移除目标概念，并且容易对模型在其他概念上的性能产生负面影响。这主要是因为欧几里得空间的几何特性限制了模型对语义层次结构的有效建模，导致概念之间的关联难以解耦。
核心思路：论文的核心思路是利用双曲空间的几何特性来进行概念遗忘。双曲空间能够更好地捕捉语义层次结构，使得模型能够更精确地表示和区分不同的概念。通过在双曲空间中进行概念遗忘，可以更有效地移除目标概念，同时减少对模型在其他概念上的性能的影响。论文还引入了双曲特定的组件，如蕴含校准和范数正则化，以进一步提高概念遗忘的性能。
技术框架：论文提出的方法基于MERU模型，该模型将图像和文本嵌入到双曲空间中。整体框架包括以下几个主要步骤：1) 使用MERU模型对图像和文本进行编码，得到在双曲空间中的嵌入表示；2) 使用对齐校准方法来调整嵌入表示，使得相关的概念在双曲空间中更加接近；3) 使用范数正则化方法来约束嵌入表示的范数，以防止过拟合；4) 使用机器学习遗忘方法来移除目标概念。
关键创新：论文的关键创新在于将机器学习遗忘方法应用于双曲对比学习模型，并引入了双曲特定的组件，如蕴含校准和范数正则化。与现有的基于欧几里得空间的遗忘方法相比，该方法能够更精确地移除目标概念，并且对模型在其他概念上的性能影响更小。此外，论文还揭示了双曲空间和欧几里得空间在概念表示和移除方面的根本差异，为未来的研究提供了新的思路。
关键设计：论文的关键设计包括：1) 使用Poincaré ball模型来表示双曲空间；2) 使用Lorentz模型来计算双曲距离；3) 使用蕴含校准损失函数来调整嵌入表示，使得相关的概念在双曲空间中更加接近；4) 使用范数正则化损失函数来约束嵌入表示的范数，以防止过拟合；5) 使用基于梯度的遗忘方法来移除目标概念。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在双曲空间中能够实现近乎完美的遗忘效果，同时保持在保留概念上的良好性能。与基于欧几里得空间的模型相比，该方法在多概念移除时表现出更强的鲁棒性。例如，在移除多个概念后，该方法在保留概念上的准确率仅下降了很小幅度，而欧几里得模型则出现了显著的性能下降。
🎯 应用场景
该研究成果可应用于各种需要选择性概念移除的场景，例如：过滤不安全内容、保护用户隐私、模型个性化定制等。通过在双曲空间中进行概念遗忘，可以更有效地移除有害或不需要的概念，同时保持模型在其他方面的性能，具有重要的实际应用价值和广阔的未来发展前景。
📄 摘要（原文）
Machine unlearning methods have become increasingly important for selective concept removal in large pre-trained models. While recent work has explored unlearning in Euclidean contrastive vision-language models, the effectiveness of concept removal in hyperbolic spaces remains unexplored. This paper investigates machine unlearning in hyperbolic contrastive learning by adapting Alignment Calibration to MERU, a model that embeds images and text in hyperbolic space to better capture semantic hierarchies. Through systematic experiments and ablation studies, we demonstrate that hyperbolic geometry offers distinct advantages for concept removal, achieving near perfect forgetting with reasonable performance on retained concepts, particularly when scaling to multiple concept removal. Our approach introduces hyperbolic-specific components including entailment calibration and norm regularization that leverage the unique properties of hyperbolic space. Comparative analysis with Euclidean models reveals fundamental differences in unlearning dynamics, with hyperbolic unlearning reorganizing the semantic hierarchy while Euclidean approaches merely disconnect cross-modal associations. These findings not only advance machine unlearning techniques but also provide insights into the geometric properties that influence concept representation and removal in multimodal models. Source code available at https://github.com/alex-pv01/HAC