Neural Corrective Machine Unranking

📄 arXiv: 2411.08562v2 📥 PDF

作者: Jingrui Hou, Axel Finke, Georgina Cosma

分类: cs.IR, cs.AI

发布日期: 2024-11-13 (更新: 2025-07-24)

备注: submitted to Information Sciences

💡 一句话要点

提出CuRD框架，通过纠正性非排序蒸馏实现神经信息检索系统中的可控遗忘。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器遗忘 神经信息检索 排序学习 蒸馏学习 可控遗忘

📋 核心要点

  1. 现有机器遗忘方法应用于信息检索系统时，可能损害检索效果或暴露遗忘操作，缺乏对排序完整性的考虑。
  2. 论文提出纠正性非排序蒸馏(CuRD)框架，通过模仿低排名样本和微调替代样本，实现可控的遗忘和排序纠正。
  3. 实验结果表明，CuRD在遗忘和纠正方面优于现有方法，同时保持了模型在非遗忘目标样本上的性能。

📝 摘要（中文）

神经信息检索(IR)系统中的机器遗忘需要在保持模型性能的同时移除特定数据。将现有的机器遗忘方法应用于IR可能会损害检索效果，或者由于从呈现给用户的检索结果中移除特定项目而无意中暴露遗忘操作。本文形式化了纠正性非排序(corrective unranking)的概念，通过集成替代文档来保持排序的完整性，从而扩展了(神经)IR环境中的机器遗忘。为此，我们提出了一种新颖的师生框架，即纠正性非排序蒸馏(CuRD)。CuRD (1)通过调整(训练好的)神经IR模型，使其输出的待遗忘样本的相关性得分模仿低排名、不可检索样本的相关性得分，从而促进遗忘；(2)通过微调替代样本的相关性得分，使其与相应的待遗忘样本的相关性得分紧密匹配，从而实现纠正；(3)力求保持模型在非遗忘目标样本上的性能。我们在MS MARCO和TREC CAR数据集上，使用四种神经IR模型(BERTcat, BERTdot, ColBERT, PARADE)评估了CuRD。对训练数据集1%到20%的遗忘集大小进行的实验表明，CuRD在遗忘和纠正方面优于七种最先进的基线方法，同时保持了模型的保留和泛化能力。

🔬 方法详解

问题定义：论文旨在解决神经信息检索系统中机器遗忘的问题。现有方法在移除特定数据时，容易破坏检索结果的排序，暴露遗忘行为，并且难以在遗忘特定样本的同时保持整体检索性能。因此，需要一种既能有效遗忘特定数据，又能保证排序完整性和模型性能的机器遗忘方法。

核心思路：论文的核心思路是“纠正性非排序”，即在遗忘特定文档的同时，通过引入替代文档并调整其排序，来维持检索结果的整体质量和排序一致性。具体来说，通过模仿低排名样本来降低待遗忘样本的相关性得分，并通过微调替代样本的相关性得分来匹配待遗忘样本，从而实现遗忘和纠正。

技术框架：CuRD框架是一个师生学习框架。教师模型是预训练的神经IR模型，学生模型通过蒸馏学习教师模型的知识。框架包含三个主要阶段：1) 遗忘阶段：调整学生模型，使其输出的待遗忘样本的相关性得分接近低排名样本；2) 纠正阶段：微调学生模型，使其输出的替代样本的相关性得分接近待遗忘样本；3) 保留阶段：通过正则化或其他技术，保持学生模型在非遗忘样本上的性能。

关键创新：论文的关键创新在于提出了“纠正性非排序”的概念，并将机器遗忘问题转化为一个排序纠正问题。通过引入替代文档和调整相关性得分，CuRD框架能够在遗忘特定数据的同时，保持检索结果的整体质量和排序一致性。这与传统的机器遗忘方法只关注移除数据而忽略排序影响的做法有本质区别。

关键设计：CuRD框架的关键设计包括：1) 损失函数：使用多种损失函数来优化学生模型，包括遗忘损失（使待遗忘样本得分降低）、纠正损失（使替代样本得分接近待遗忘样本）和保留损失（保持非遗忘样本的性能）；2) 替代样本选择：选择与待遗忘样本语义相似的文档作为替代样本；3) 蒸馏策略：采用合适的蒸馏策略，将教师模型的知识迁移到学生模型，并避免学生模型过度拟合遗忘集。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，CuRD在MS MARCO和TREC CAR数据集上，使用BERTcat, BERTdot, ColBERT, PARADE等模型，在遗忘和纠正方面均优于七种最先进的基线方法。在遗忘集大小为训练数据集的1%到20%的情况下，CuRD能够有效遗忘目标数据，同时保持模型的保留和泛化能力，证明了其在神经信息检索系统中进行机器遗忘的有效性。

🎯 应用场景

该研究成果可应用于各种需要数据遗忘的神经信息检索系统，例如搜索引擎、推荐系统和问答系统。在用户要求删除个人数据、法律法规要求删除不合规信息等场景下，该方法可以安全有效地移除相关数据，同时保证系统的检索质量和用户体验。该方法还有潜力应用于其他机器学习领域，例如联邦学习和持续学习。

📄 摘要（原文）

Machine unlearning in neural information retrieval (IR) systems requires removing specific data whilst maintaining model performance. Applying existing machine unlearning methods to IR may compromise retrieval effectiveness or inadvertently expose unlearning actions due to the removal of particular items from the retrieved results presented to users. We formalise corrective unranking, which extends machine unlearning in (neural) IR context by integrating substitute documents to preserve ranking integrity, and propose a novel teacher-student framework, Corrective unRanking Distillation (CuRD), for this task. CuRD (1) facilitates forgetting by adjusting the (trained) neural IR model such that its output relevance scores of to-be-forgotten samples mimic those of low-ranking, non-retrievable samples; (2) enables correction by fine-tuning the relevance scores for the substitute samples to match those of corresponding to-be-forgotten samples closely; (3) seeks to preserve performance on samples that are not targeted for forgetting. We evaluate CuRD on four neural IR models (BERTcat, BERTdot, ColBERT, PARADE) using MS MARCO and TREC CAR datasets. Experiments with forget set sizes from 1 % and 20 % of the training dataset demonstrate that CuRD outperforms seven state-of-the-art baselines in terms of forgetting and correction while maintaining model retention and generalisation capabilities.