Efficient Verified Machine Unlearning For Distillation

📄 arXiv: 2503.22539v2 📥 PDF

作者: Yijun Quan, Zushu Li, Giovanni Montana

分类: cs.LG

发布日期: 2025-03-28 (更新: 2025-10-21)

备注: Accepted at The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025)

💡 一句话要点

提出PURGE框架，加速知识蒸馏场景下的高效可验证机器卸载

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器卸载 知识蒸馏 数据隐私 可验证学习 联邦学习

📋 核心要点

  1. 现有知识蒸馏场景下的机器卸载方法，在教师模型卸载后，通常需要对学生模型进行完全重新训练，成本高昂。
  2. PURGE框架通过组成映射和增量多教师策略，将蒸馏过程划分，限制教师对学生数据子集的影响，实现数据隔离。
  3. 实验结果表明，PURGE框架显著降低了重新训练开销，同时保持了学生模型的准确性，实现了高效卸载。

📝 摘要（中文）

随着GDPR和CCPA等法规对数据隐私的要求日益增长，机器卸载方法需要能够快速移除特定训练数据点的影响。虽然像SISA这样使用数据切片和检查点技术的验证方法，通过恢复到中间状态实现了单模型的高效卸载，但这些方法在教师-学生知识蒸馏环境中表现不佳。由于蒸馏过程中普遍存在的信息传播，教师模型的卸载通常迫使学生模型进行代价高昂的完全重新训练。我们的主要贡献是PURGE（Partitioned Unlearning with Retraining Guarantee for Ensembles），这是一个将验证卸载与蒸馏相结合的新框架。我们引入了组成映射和增量多教师策略，该策略划分蒸馏过程，将每个教师组成部分的影响限制在不同的学生数据子集，并至关重要的是保持数据隔离。PURGE框架显著降低了重新训练的开销，在教师端发生卸载时只需要部分学生更新。我们提供了理论分析，量化了卸载过程中的显著加速，并在多个数据集上进行了经验验证，表明PURGE在实现这些效率提升的同时，保持了与标准基线相当的学生模型准确性。

🔬 方法详解

问题定义：论文旨在解决知识蒸馏场景下，当教师模型需要进行机器卸载时，学生模型必须进行完全重新训练的问题。现有方法的痛点在于，知识蒸馏过程中信息在教师和学生模型之间广泛传播，导致教师模型的任何改变都会对学生模型产生全局影响，使得卸载操作的代价非常高昂。

核心思路：论文的核心思路是将知识蒸馏过程进行划分，使得每个教师模型的组成部分只影响学生模型的一部分数据。通过这种方式，当教师模型的某个部分需要进行卸载时，只需要重新训练受该部分影响的学生模型子集，从而大大降低了重新训练的开销。这种设计保证了数据隔离，避免了全局重新训练。

技术框架：PURGE框架包含以下主要模块：1) 组成映射：将教师模型划分为多个组成部分，每个部分负责处理一部分数据。2) 增量多教师策略：使用多个教师模型，每个教师模型对应学生模型的一个数据子集。3) 隔离蒸馏：确保每个教师模型的组成部分只影响其对应的学生模型数据子集，实现数据隔离。4) 选择性重训练：当教师模型的某个组成部分需要卸载时，只重新训练受该部分影响的学生模型子集。

关键创新：PURGE框架的关键创新在于它将可验证卸载与知识蒸馏相结合，并引入了组成映射和增量多教师策略来实现数据隔离。与现有方法相比，PURGE不需要对整个学生模型进行重新训练，而是只需要对部分学生模型进行更新，从而显著提高了卸载效率。

关键设计：PURGE框架的关键设计包括：1) 如何将教师模型划分为多个组成部分，以及如何将这些组成部分映射到学生模型的数据子集。2) 如何设计损失函数，以确保每个教师模型的组成部分只影响其对应的学生模型数据子集。3) 如何选择合适的学生模型架构，以便能够有效地进行选择性重训练。具体的参数设置和网络结构可能需要根据具体的应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个数据集上进行了实验验证，结果表明PURGE框架能够在显著降低重新训练开销的同时，保持学生模型的准确性。具体而言，PURGE框架在卸载速度上比完全重新训练的方法快几个数量级，同时学生模型的准确性与标准基线相当，证明了PURGE框架的有效性和实用性。

🎯 应用场景

PURGE框架可应用于需要频繁进行数据更新和隐私保护的知识蒸馏场景，例如联邦学习、持续学习和个性化推荐系统。该框架能够显著降低机器卸载的计算成本，提高系统的响应速度和可扩展性，并有助于满足日益严格的数据隐私法规要求。

📄 摘要（原文）

Growing data privacy demands, driven by regulations like GDPR and CCPA, require machine unlearning methods capable of swiftly removing the influence of specific training points. Although verified approaches like SISA, using data slicing and checkpointing, achieve efficient unlearning for single models by reverting to intermediate states, these methods struggle in teacher-student knowledge distillation settings. Unlearning in the teacher typically forces costly, complete student retraining due to pervasive information propagation during distillation. Our primary contribution is PURGE (Partitioned Unlearning with Retraining Guarantee for Ensembles), a novel framework integrating verified unlearning with distillation. We introduce constituent mapping and an incremental multi-teacher strategy that partitions the distillation process, confines each teacher constituent's impact to distinct student data subsets, and crucially maintains data isolation. The PURGE framework substantially reduces retraining overhead, requiring only partial student updates when teacher-side unlearning occurs. We provide both theoretical analysis, quantifying significant speed-ups in the unlearning process, and empirical validation on multiple datasets, demonstrating that PURGE achieves these efficiency gains while maintaining student accuracy comparable to standard baselines.