Underestimated Privacy Risks for Minority Populations in Large Language Model Unlearning
作者: Rongzhe Wei, Mufei Li, Mohsen Ghassemi, Eleonora Kreačić, Yifan Li, Xiang Yue, Bo Li, Vamsi K. Potluru, Pan Li, Eli Chien
分类: cs.LG
发布日期: 2024-12-11 (更新: 2025-06-01)
💡 一句话要点
提出少数群体感知评估框架，揭示LLM卸载中被低估的隐私风险
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 卸载学习 隐私保护 成员推理攻击 少数群体 公平性 个人身份信息
📋 核心要点
- 现有LLM卸载评估方法随机选择数据，忽略了少数群体数据可能具有更高记忆性和隐私风险。
- 论文提出少数群体感知的评估框架，通过引入包含PII的金丝雀数据来模拟少数群体，评估卸载效果。
- 实验表明，现有卸载方法在少数群体数据上隐私泄露至少高出20%，揭示了现有评估框架的盲点。
📝 摘要（中文）
大型语言模型（LLM）嵌入了敏感的、人为生成的数据，因此需要卸载方法。虽然经过认证的卸载提供了强大的隐私保证，但其限制性假设使其不适用于LLM，从而产生了各种通常通过经验评估来评估的启发式方法。这些标准评估随机选择要删除的数据，应用卸载技术，并使用成员推理攻击（MIA）来比较卸载后的模型与未删除数据重新训练的模型。然而，为了确保每个数据点的强大隐私保护，必须考虑某些数据子集面临更高风险的情况。先前的研究表明，异常值，特别是与少数群体相关的数据，通常表现出更高的记忆倾向，这表明它们可能更难卸载。基于这些见解，我们引入了一个互补的、少数群体感知的评估框架，以突出现有框架中的盲点。我们通过精心设计的实验证实了我们的发现，使用带有个人身份信息（PII）的金丝雀来代表这些少数群体子集，并证明它们在各种卸载方法、MIA、数据集和LLM规模中遭受至少20%的更高隐私泄露。我们提出的少数群体感知评估框架标志着朝着更公平和全面地评估LLM卸载效果迈出的重要一步。
🔬 方法详解
问题定义：现有的大型语言模型卸载评估方法通常采用随机抽样的方式选择需要卸载的数据，忽略了不同数据子集可能面临不同的隐私风险。特别是，少数群体的数据往往更容易被模型记住，因此卸载难度更大，但现有评估方法未能充分考虑这一因素，导致对卸载效果的评估可能存在偏差。
核心思路：论文的核心思路是引入一个少数群体感知的评估框架，该框架能够识别并评估LLM在卸载少数群体数据时的隐私保护效果。通过模拟少数群体数据，并使用成员推理攻击（MIA）来衡量卸载后的模型是否仍然泄露这些数据的隐私信息。
技术框架：该框架主要包含以下几个步骤：1) 数据准备：构建包含个人身份信息（PII）的金丝雀数据，作为少数群体数据的代表。2) 模型训练：使用包含金丝雀数据的数据集训练LLM。3) 卸载：使用不同的卸载方法尝试从模型中移除金丝雀数据的影响。4) 隐私评估：使用成员推理攻击（MIA）评估卸载后的模型是否仍然泄露金丝雀数据的隐私信息。5) 结果分析：比较不同卸载方法在保护少数群体数据隐私方面的效果。
关键创新：该论文的关键创新在于提出了一个少数群体感知的LLM卸载评估框架。该框架能够更全面地评估LLM卸载方法的隐私保护效果，特别是针对那些更容易被模型记住的少数群体数据。这有助于发现现有卸载方法中的盲点，并促进更公平和有效的LLM卸载技术的发展。
关键设计：在实验设计中，论文使用了包含个人身份信息（PII）的金丝雀数据来代表少数群体数据。金丝雀数据被设计成易于识别，以便更容易地检测模型是否仍然记住这些数据。论文还使用了多种不同的卸载方法和成员推理攻击（MIA）来评估卸载效果，以确保评估结果的可靠性。此外，论文还在不同规模的LLM上进行了实验，以验证框架的通用性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的LLM卸载方法在保护少数群体数据隐私方面的效果显著低于预期。具体而言，使用金丝雀数据代表少数群体时，隐私泄露风险至少高出20%。这一结果在不同的卸载方法、成员推理攻击（MIA）、数据集和LLM规模上均得到验证，表明现有评估框架存在明显的盲点，需要进一步改进。
🎯 应用场景
该研究成果可应用于评估和改进大型语言模型的卸载技术，尤其是在处理包含敏感信息的少数群体数据时。通过使用该框架，可以更好地了解现有卸载方法的局限性，并开发出更有效的隐私保护机制，从而降低LLM在实际应用中泄露用户隐私的风险。这对于医疗、金融等涉及敏感数据的领域尤为重要。
📄 摘要（原文）
Large Language Models (LLMs) embed sensitive, human-generated data, prompting the need for unlearning methods. Although certified unlearning offers strong privacy guarantees, its restrictive assumptions make it unsuitable for LLMs, giving rise to various heuristic approaches typically assessed through empirical evaluations. These standard evaluations randomly select data for removal, apply unlearning techniques, and use membership inference attacks (MIAs) to compare unlearned models against models retrained without the removed data. However, to ensure robust privacy protections for every data point, it is essential to account for scenarios in which certain data subsets face elevated risks. Prior research suggests that outliers, particularly including data tied to minority groups, often exhibit higher memorization propensity which indicates they may be more difficult to unlearn. Building on these insights, we introduce a complementary, minority-aware evaluation framework to highlight blind spots in existing frameworks. We substantiate our findings with carefully designed experiments, using canaries with personally identifiable information (PII) to represent these minority subsets and demonstrate that they suffer at least 20% higher privacy leakage across various unlearning methods, MIAs, datasets, and LLM scales. Our proposed minority-aware evaluation framework marks an essential step toward more equitable and comprehensive assessments of LLM unlearning efficacy.