Membership Inference Attacks Against In-Context Learning

📄 arXiv: 2409.01380v1 📥 PDF

作者: Rui Wen, Zheng Li, Michael Backes, Yang Zhang

分类: cs.CR, cs.CL

发布日期: 2024-09-02

备注: To Appear in the ACM Conference on Computer and Communications Security, October 14-18, 2024

💡 一句话要点

针对上下文学习的成员推理攻击，仅依赖生成文本即可实现高精度隐私泄露。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成员推理攻击 上下文学习 大型语言模型 隐私泄露 生成文本分析

📋 核心要点

  1. 现有上下文学习方法在计算效率上有所提升，但其在现实假设下的隐私攻击脆弱性尚未得到充分研究。
  2. 论文提出了一种新颖的成员推理攻击，仅利用生成文本即可判断数据是否参与了上下文学习过程。
  3. 实验表明，该攻击在多个大型语言模型上表现出高精度，并探索了数据、指令和输出三个维度的防御策略。

📝 摘要（中文）

本文研究了上下文学习（ICL）在适应大型语言模型（LLMs）时面临的隐私风险。针对ICL，提出了一种新的成员推理攻击方法，该方法仅依赖于生成的文本，而不需要概率信息。论文设计了四种针对不同约束场景的攻击策略，并在四个流行的LLM上进行了广泛的实验。实验结果表明，该攻击方法在大多数情况下能够准确判断成员状态，例如，针对LLaMA的准确率优势达到95%，表明其风险远高于现有的基于概率的攻击。此外，论文还提出了一种混合攻击方法，综合了上述策略的优势，在大多数情况下实现了超过95%的准确率优势。最后，论文研究了三种潜在的防御方法，分别针对数据、指令和输出。结果表明，结合来自正交维度的防御可以显著降低隐私泄露，并提供更强的隐私保证。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）的上下文学习（ICL）过程中存在的隐私泄露问题。现有的成员推理攻击通常依赖于模型输出的概率信息，但在实际应用中，这些概率信息可能难以获取或被隐藏。因此，需要一种仅依赖于生成文本的成员推理攻击方法，以评估ICL的隐私风险。

核心思路：论文的核心思路是利用成员数据和非成员数据在经过ICL后生成的文本之间的差异来判断目标数据是否为成员。具体来说，成员数据训练得到的模型在生成文本时，会表现出与非成员数据训练得到的模型不同的特征，例如风格、内容等。通过分析这些差异，可以推断出目标数据是否参与了模型的训练。

技术框架：论文提出的攻击框架主要包括以下几个步骤：1) 准备成员数据集和非成员数据集；2) 使用上下文学习方法训练目标LLM；3) 使用成员数据和非成员数据生成文本；4) 提取生成文本的特征，例如词频、n-gram等；5) 使用分类器（例如SVM、Logistic Regression）对提取的特征进行分类，判断目标数据是否为成员。论文提出了四种攻击策略，分别针对不同的约束场景，并提出了一种混合攻击方法，综合了这些策略的优势。

关键创新：论文的关键创新在于提出了一种仅依赖于生成文本的成员推理攻击方法，避免了对概率信息的依赖，更符合实际应用场景。此外，论文还设计了多种攻击策略，并提出了一种混合攻击方法，提高了攻击的准确率。

关键设计：论文的关键设计包括：1) 针对不同的约束场景设计了不同的攻击策略，例如，当攻击者只能访问少量生成文本时，可以使用基于词频的攻击策略；2) 提出了一种混合攻击方法，综合了多种攻击策略的优势，提高了攻击的准确率；3) 探索了数据、指令和输出三个维度的防御策略，并发现结合来自正交维度的防御可以显著降低隐私泄露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该攻击方法在四个流行的LLM（包括LLaMA）上表现出高精度，针对LLaMA的准确率优势达到95%。混合攻击方法在大多数情况下实现了超过95%的准确率优势。此外，结合数据、指令和输出三个维度的防御策略可以显著降低隐私泄露。

🎯 应用场景

该研究成果可应用于评估和改进大型语言模型在上下文学习中的隐私保护能力。通过识别潜在的隐私泄露风险，可以开发更有效的防御机制，保护用户数据的安全。此外，该研究还可以帮助开发者更好地理解上下文学习的隐私影响，从而设计更安全、更可靠的AI系统。

📄 摘要（原文）

Adapting Large Language Models (LLMs) to specific tasks introduces concerns about computational efficiency, prompting an exploration of efficient methods such as In-Context Learning (ICL). However, the vulnerability of ICL to privacy attacks under realistic assumptions remains largely unexplored. In this work, we present the first membership inference attack tailored for ICL, relying solely on generated texts without their associated probabilities. We propose four attack strategies tailored to various constrained scenarios and conduct extensive experiments on four popular large language models. Empirical results show that our attacks can accurately determine membership status in most cases, e.g., 95\% accuracy advantage against LLaMA, indicating that the associated risks are much higher than those shown by existing probability-based attacks. Additionally, we propose a hybrid attack that synthesizes the strengths of the aforementioned strategies, achieving an accuracy advantage of over 95\% in most cases. Furthermore, we investigate three potential defenses targeting data, instruction, and output. Results demonstrate combining defenses from orthogonal dimensions significantly reduces privacy leakage and offers enhanced privacy assurances.