Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning

📄 arXiv: 2406.14322v3 📥 PDF

作者: Lynn Chua, Badih Ghazi, Yangsibo Huang, Pritish Kamath, Ravi Kumar, Daogao Liu, Pasin Manurangsi, Amer Sinha, Chiyuan Zhang

分类: cs.CL, cs.CR, cs.LG

发布日期: 2024-06-20 (更新: 2024-08-16)

备注: Published as a conference paper at COLM 2024

💡 一句话要点

针对LLM微调，提出用户级别差分隐私方法以保障用户隐私

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 用户级别隐私 语言模型微调 自然语言生成 隐私保护

📋 核心要点

  1. 现有LLM微调的差分隐私方法通常以单个文本记录为隐私单元，无法保证用户级别隐私的公平性。
  2. 论文提出用户级别差分隐私，确保每个用户的数据对模型的影响受到统一的隐私保护，避免因用户贡献量差异导致隐私泄露风险。
  3. 论文系统评估了组隐私和用户级DP-SGD两种机制在LLM微调中的用户级别差分隐私效果，并探索了数据选择和参数调优策略。

📝 摘要（中文）

大型语言模型（LLM）已成为解决各个领域复杂任务的强大工具，但由于可能存在的记忆效应，在敏感数据上进行微调时也会引发隐私问题。差分隐私（DP）通过确保模型在有或没有特定隐私单元的情况下“几乎无法区分”，提供了一个有希望的解决方案。然而，目前对LLM的评估大多将每个样本（文本记录）视为隐私单元，这导致每个用户的贡献不同时，用户隐私保证不均。因此，我们研究了用户级别的DP，其动机是需要确保跨用户的统一隐私保护的应用。我们对自然语言生成任务中LLM微调的用户级别DP进行了系统评估。我们重点关注实现用户级别DP保证的两种机制：组隐私和用户级DP-SGD，并研究了数据选择策略和参数调整等设计选择，以获得最佳的隐私-效用权衡。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在微调过程中，由于使用差分隐私（DP）时以文本记录为隐私单元，导致用户级别隐私保护不均的问题。现有方法无法保证每个用户的数据对模型的影响受到统一的隐私保护，使得贡献数据较多的用户面临更高的隐私泄露风险。

核心思路：论文的核心思路是将差分隐私的保护粒度提升到用户级别，即确保模型在有或没有某个用户的所有数据的情况下，其行为几乎无法区分。这样可以保证每个用户的数据对模型的影响受到统一的隐私保护，从而实现更公平的隐私保证。

技术框架：论文主要研究了两种实现用户级别差分隐私的机制：组隐私（Group Privacy）和用户级DP-SGD。组隐私将每个用户的数据视为一个组，并使用组差分隐私算法进行保护。用户级DP-SGD则是在DP-SGD的基础上，对每个用户的梯度进行裁剪和噪声添加，以实现用户级别的差分隐私。论文还研究了数据选择策略和参数调整等设计选择，以优化隐私-效用权衡。

关键创新：论文的关键创新在于将差分隐私的保护粒度从文本记录级别提升到用户级别，从而解决了现有方法无法保证用户级别隐私公平性的问题。此外，论文还系统评估了两种实现用户级别差分隐私的机制，并探索了数据选择和参数调整等优化策略。

关键设计：论文的关键设计包括：1) 针对组隐私，需要选择合适的组差分隐私算法，并设置合适的隐私预算。2) 针对用户级DP-SGD，需要选择合适的梯度裁剪范数和噪声添加量，以平衡隐私保护和模型效用。3) 数据选择策略，例如选择对模型性能影响较大的用户数据进行微调，可以提高模型的效用。4) 参数调整策略，例如调整学习率和批量大小，可以优化模型的收敛速度和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文系统评估了组隐私和用户级DP-SGD两种机制在LLM微调中的用户级别差分隐私效果。实验结果表明，通过合理的数据选择和参数调整，可以在保证用户隐私的前提下，获得较好的模型性能。具体的性能数据和对比基线需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种需要保护用户隐私的自然语言处理任务中，例如医疗记录分析、金融交易预测、社交媒体内容生成等。通过用户级别的差分隐私保护，可以安全地利用用户数据训练高性能的语言模型，同时避免用户隐私泄露的风险，具有重要的实际应用价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) have emerged as powerful tools for tackling complex tasks across diverse domains, but they also raise privacy concerns when fine-tuned on sensitive data due to potential memorization. While differential privacy (DP) offers a promising solution by ensuring models are 'almost indistinguishable' with or without any particular privacy unit, current evaluations on LLMs mostly treat each example (text record) as the privacy unit. This leads to uneven user privacy guarantees when contributions per user vary. We therefore study user-level DP motivated by applications where it necessary to ensure uniform privacy protection across users. We present a systematic evaluation of user-level DP for LLM fine-tuning on natural language generation tasks. Focusing on two mechanisms for achieving user-level DP guarantees, Group Privacy and User-wise DP-SGD, we investigate design choices like data selection strategies and parameter tuning for the best privacy-utility tradeoff.