A Comprehensive Study of Privacy Risks in Curriculum Learning

📄 arXiv: 2310.10124v1 📥 PDF

作者: Joann Qiongna Chen, Xinlei He, Zheng Li, Yang Zhang, Zhou Li

分类: cs.CR, cs.LG

发布日期: 2023-10-16

💡 一句话要点

提出隐私风险评估方法以解决课程学习中的数据泄露问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 课程学习 隐私风险 成员推断攻击 属性推断攻击 隐私保护 机器学习 数据泄露

📋 核心要点

  1. 课程学习在提升模型性能的同时，可能引发数据隐私泄露的问题，现有研究对此缺乏系统性评估。
  2. 本文通过引入成员推断攻击和属性推断攻击，量化课程学习带来的隐私风险，填补了这一知识空白。
  3. 实验结果表明，课程学习下的MIA效果略有提升，而AIA的脆弱性相对较低，提出的新方法Diff-Cali在多种情况下均表现出色。

📝 摘要（中文）

课程学习（CL）通过从简单到困难的顺序训练机器学习模型，已被证明能加速训练过程并提升模型性能。然而，CL对数据隐私的影响尚不明确。本文首次研究了CL对隐私的影响，利用成员推断攻击（MIA）和属性推断攻击（AIA）量化CL带来的隐私泄露。对九个真实数据集的评估显示，MIA在CL下略微更有效，尤其对难样本影响显著；而AIA的脆弱性则相对较低。此外，现有防御技术在CL下仍有效，但DP-SGD对模型准确性影响显著。基于这些发现，提出了一种新型MIA方法Diff-Cali，利用难度评分进行结果校准，证明对所有CL方法和正常训练方法均有效。希望引起社区对新兴机器学习技术隐私风险的关注，并推动新的攻击基准和防御解决方案的发展。

🔬 方法详解

问题定义：本文旨在解决课程学习（CL）对数据隐私的影响，现有方法未能系统评估CL如何改变模型对训练数据的记忆方式，从而导致隐私泄露的问题。

核心思路：通过引入成员推断攻击（MIA）和属性推断攻击（AIA），量化CL带来的隐私风险，评估不同攻击方法在CL下的有效性，并提出新型MIA方法Diff-Cali以增强隐私保护。

技术框架：研究首先对九个真实数据集进行评估，采用多种攻击方法（包括基于神经网络的、基于度量的、仅标签的MIA和基于神经网络的AIA），分析CL对隐私泄露的影响。

关键创新：提出的新型MIA方法Diff-Cali，利用样本的难度评分进行结果校准，能够有效应对所有CL方法和正常训练方法，显著提升隐私保护效果。

关键设计：在实验中，使用了多种攻击方法和防御技术（如DP-SGD、MemGuard、MixupMMD），并分析了它们在CL下的有效性和对模型准确性的影响，特别是DP-SGD对模型性能的显著影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在课程学习下，成员推断攻击（MIA）的效果略有提升，尤其对难样本影响显著；而属性推断攻击（AIA）则显示出较低的脆弱性。此外，提出的Diff-Cali方法在所有CL和正常训练方法中均表现出色，增强了隐私保护能力。

🎯 应用场景

该研究的潜在应用领域包括机器学习模型的隐私保护，尤其是在图像和文本分类等领域。通过评估课程学习对隐私的影响，研究为开发更安全的机器学习技术提供了理论基础，未来可能推动隐私保护技术的进步和应用。

📄 摘要（原文）

Training a machine learning model with data following a meaningful order, i.e., from easy to hard, has been proven to be effective in accelerating the training process and achieving better model performance. The key enabling technique is curriculum learning (CL), which has seen great success and has been deployed in areas like image and text classification. Yet, how CL affects the privacy of machine learning is unclear. Given that CL changes the way a model memorizes the training data, its influence on data privacy needs to be thoroughly evaluated. To fill this knowledge gap, we perform the first study and leverage membership inference attack (MIA) and attribute inference attack (AIA) as two vectors to quantify the privacy leakage caused by CL. Our evaluation of nine real-world datasets with attack methods (NN-based, metric-based, label-only MIA, and NN-based AIA) revealed new insights about CL. First, MIA becomes slightly more effective when CL is applied, but the impact is much more prominent to a subset of training samples ranked as difficult. Second, a model trained under CL is less vulnerable under AIA, compared to MIA. Third, the existing defense techniques like DP-SGD, MemGuard, and MixupMMD are still effective under CL, though DP-SGD has a significant impact on target model accuracy. Finally, based on our insights into CL, we propose a new MIA, termed Diff-Cali, which exploits the difficulty scores for result calibration and is demonstrated to be effective against all CL methods and the normal training method. With this study, we hope to draw the community's attention to the unintended privacy risks of emerging machine-learning techniques and develop new attack benchmarks and defense solutions.