Public Data Assisted Differentially Private In-Context Learning

📄 arXiv: 2509.10932v1 📥 PDF

作者: Seongho Joo, Hyukhun Koh, Kyomin Jung

分类: cs.AI, cs.CL

发布日期: 2025-09-13

备注: EMNLP 2025 Findings

💡 一句话要点

提出基于公共数据辅助的差分隐私上下文学习方法，提升隐私保护下的模型效用。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 上下文学习 大型语言模型 隐私保护 公共数据辅助

📋 核心要点

  1. 现有上下文学习方法在保护用户隐私方面存在不足，容易受到恶意攻击导致私有数据泄露。
  2. 该论文提出利用任务相关的公共数据辅助差分隐私上下文学习，以提升隐私保护下的模型效用。
  3. 实验结果表明，该方法显著提高了私有上下文学习的效用，并对成员推理攻击具有鲁棒性。

📝 摘要（中文）

大型语言模型(LLM)中的上下文学习(ICL)在各种任务中表现出卓越的性能，而无需微调。然而，最近的研究强调了ICL中通过提示泄露私有数据的风险，尤其是在LLM暴露于恶意攻击时。差分隐私(DP)虽然提供了强大的隐私保证，但通常会显著降低上下文学习(ICL)的效用。为了解决这个挑战，我们在保持DP保证的同时，将任务相关的公共数据纳入ICL框架。基于此，我们提出了一种私有上下文学习算法，该算法有效地平衡了隐私保护和模型效用。通过实验，我们证明了我们的方法在公共数据的辅助下，显著提高了私有ICL的效用。此外，我们还表明我们的方法对成员推理攻击具有鲁棒性，展示了经验隐私保护。

🔬 方法详解

问题定义：论文旨在解决在上下文学习（ICL）中，直接应用差分隐私（DP）保护用户数据时，模型效用显著下降的问题。现有方法在提供强隐私保证的同时，往往牺牲了模型在下游任务上的性能，限制了ICL在隐私敏感场景中的应用。

核心思路：论文的核心思路是利用与任务相关的公共数据来辅助私有ICL，从而在满足差分隐私约束的前提下，提升模型的效用。通过引入公共数据，模型可以在不直接访问私有数据的情况下，学习到任务相关的知识，从而提高泛化能力。

技术框架：整体框架包含以下几个主要步骤：1) 收集或构建与目标任务相关的公共数据集；2) 设计一种将公共数据融入到ICL提示中的方法；3) 在构建提示时，对私有数据部分应用差分隐私机制，例如添加噪声；4) 使用带有隐私保护的提示进行ICL，并在下游任务上评估模型性能。

关键创新：该论文的关键创新在于将公共数据与差分隐私相结合，用于提升私有ICL的效用。与传统的直接对私有数据添加噪声的方法不同，该方法通过公共数据来弥补因隐私保护而损失的信息，从而在隐私和效用之间取得更好的平衡。

关键设计：具体的技术细节可能包括：如何选择或构建合适的公共数据集；如何设计提示，使得公共数据能够有效地辅助ICL；如何选择合适的差分隐私机制，例如高斯机制或拉普拉斯机制，以及如何设置隐私预算参数（ε和δ）；如何评估模型在不同隐私级别下的效用，并与基线方法进行比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在公共数据的辅助下，显著提高了私有上下文学习的效用。此外，该方法对成员推理攻击具有鲁棒性，证明了其经验隐私保护能力。具体的性能提升数据和对比基线信息在摘要中未提供，属于未知信息。

🎯 应用场景

该研究成果可应用于各种需要保护用户隐私的自然语言处理任务，例如医疗记录分析、金融交易预测、个人信息检索等。通过利用公共数据辅助差分隐私上下文学习，可以在保证用户隐私的前提下，提升模型在这些敏感领域的应用价值，促进人工智能技术在安全可信的环境下发展。

📄 摘要（原文）

In-context learning (ICL) in Large Language Models (LLMs) has shown remarkable performance across various tasks without requiring fine-tuning. However, recent studies have highlighted the risk of private data leakage through the prompt in ICL, especially when LLMs are exposed to malicious attacks. While differential privacy (DP) provides strong privacy guarantees, it often significantly reduces the utility of in-context learning (ICL). To address this challenge, we incorporate task-related public data into the ICL framework while maintaining the DP guarantee. Based on this approach, we propose a private in-context learning algorithm that effectively balances privacy protection and model utility. Through experiments, we demonstrate that our approach significantly improves the utility of private ICL with the assistance of public data. Additionally, we show that our method is robust against membership inference attacks, demonstrating empirical privacy protection.