Public Data Assisted Differentially Private In-Context Learning

📄 arXiv: 2509.10932v1 📥 PDF

作者: Seongho Joo, Hyukhun Koh, Kyomin Jung

分类: cs.AI, cs.CL

发布日期: 2025-09-13

备注: EMNLP 2025 Findings

💡 一句话要点

提出公共数据辅助的差分隐私上下文学习方法，提升隐私保护下的ICL效用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 上下文学习 大型语言模型 隐私保护 公共数据 成员推理攻击 自然语言处理

📋 核心要点

  1. 现有ICL方法在保护隐私方面存在不足，容易受到恶意攻击导致私有数据泄露。
  2. 该论文提出利用任务相关的公共数据辅助ICL，在保证差分隐私的前提下提升模型效用。
  3. 实验结果表明，该方法显著提高了私有ICL的效用，并对成员推理攻击具有鲁棒性。

📝 摘要（中文）

大型语言模型(LLM)中的上下文学习(ICL)已在各种任务中展现出卓越的性能，而无需微调。然而，最近的研究强调了ICL中通过提示泄露私有数据的风险，尤其是在LLM暴露于恶意攻击时。差分隐私(DP)虽然提供了强大的隐私保证，但通常会显著降低上下文学习(ICL)的效用。为了解决这一挑战，我们在保持DP保证的同时，将任务相关的公共数据整合到ICL框架中。基于此，我们提出了一种私有上下文学习算法，该算法有效地平衡了隐私保护和模型效用。通过实验，我们证明了我们的方法在公共数据的辅助下，显著提高了私有ICL的效用。此外，我们还表明我们的方法对成员推理攻击具有鲁棒性，从而展示了经验性的隐私保护。

🔬 方法详解

问题定义：论文旨在解决差分隐私保护下，上下文学习（ICL）的效用降低问题。现有方法在直接应用差分隐私到ICL时，会引入过多的噪声，导致模型性能显著下降，无法有效利用ICL的强大能力。同时，ICL容易受到成员推理攻击，存在隐私泄露的风险。

核心思路：论文的核心思路是利用与任务相关的公共数据来辅助私有ICL。通过引入公共数据，可以在不直接暴露私有数据的情况下，为模型提供额外的上下文信息，从而减少对私有数据的依赖，降低差分隐私噪声带来的性能损失。这样可以在隐私保护和模型效用之间取得更好的平衡。

技术框架：该方法主要包含以下几个阶段：1) 收集或生成与任务相关的公共数据集；2) 将公共数据与私有数据结合，构建包含公共上下文和私有上下文的混合提示；3) 对混合提示应用差分隐私机制，例如添加高斯噪声；4) 使用经过差分隐私处理的提示进行ICL，利用LLM进行预测。整体流程旨在利用公共数据的信息来弥补差分隐私带来的信息损失。

关键创新：该论文的关键创新在于将公共数据引入到差分隐私保护的ICL框架中。与直接对私有数据添加噪声的方法不同，该方法通过公共数据提供额外的上下文信息，从而在保证隐私的同时，提升了模型的效用。这种方法能够更有效地利用LLM的ICL能力，同时降低隐私泄露的风险。

关键设计：论文的关键设计包括：如何选择或生成合适的公共数据集，公共数据与私有数据的混合方式（例如，公共上下文在前，私有上下文在后），以及差分隐私噪声的添加策略（例如，噪声的大小与隐私预算相关）。此外，论文可能还涉及对LLM的选择和配置，以及对成员推理攻击的防御机制的设计。

📊 实验亮点

实验结果表明，该方法在保证差分隐私的前提下，显著提高了ICL的效用。与直接应用差分隐私的方法相比，该方法在多个NLP任务上取得了更高的准确率和更低的隐私泄露风险。此外，实验还验证了该方法对成员推理攻击的鲁棒性，证明了其在实际应用中的可行性和有效性。具体的性能提升幅度和对比基线需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种需要隐私保护的自然语言处理任务，例如医疗文本分析、金融风险评估、个人信息处理等。通过利用公共数据辅助的差分隐私ICL，可以在保护用户隐私的前提下，充分发挥大型语言模型的强大能力，为相关领域提供更安全、更有效的解决方案。未来，该方法有望推广到其他机器学习领域，促进隐私计算技术的发展。

📄 摘要（原文）

In-context learning (ICL) in Large Language Models (LLMs) has shown remarkable performance across various tasks without requiring fine-tuning. However, recent studies have highlighted the risk of private data leakage through the prompt in ICL, especially when LLMs are exposed to malicious attacks. While differential privacy (DP) provides strong privacy guarantees, it often significantly reduces the utility of in-context learning (ICL). To address this challenge, we incorporate task-related public data into the ICL framework while maintaining the DP guarantee. Based on this approach, we propose a private in-context learning algorithm that effectively balances privacy protection and model utility. Through experiments, we demonstrate that our approach significantly improves the utility of private ICL with the assistance of public data. Additionally, we show that our method is robust against membership inference attacks, demonstrating empirical privacy protection.