Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks?

📄 arXiv: 2504.21036v2 📥 PDF

作者: Hao Du, Shang Liu, Yang Cao

分类: cs.CR, cs.AI, cs.LG

发布日期: 2025-04-28 (更新: 2025-05-01)

备注: accepted by DBSec25

💡 一句话要点

研究差分隐私微调LLM抵抗隐私攻击的有效性与代价

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 大型语言模型 微调 隐私攻击 成员推理

📋 核心要点

  1. 微调LLM存在隐私泄露风险，现有方法缺乏对不同微调策略下隐私保护效果的系统评估。
  2. 该研究通过差分隐私(DP)微调LLM，并结合数据提取和成员推理攻击，评估不同微调方法和隐私预算下的隐私风险。
  3. 实验表明，DP能降低隐私风险，但会降低模型效用，且隐私-效用权衡在不同微调方法中差异显著。

📝 摘要（中文）

微调大型语言模型(LLMs)已成为将其适配到特定任务的关键策略。然而，这一过程引入了显著的隐私挑战，因为敏感训练数据可能被无意中记忆并暴露。尽管差分隐私(DP)为此类泄露提供了强大的理论保证，但其在LLMs上的经验隐私有效性仍不清楚，尤其是在不同的微调方法下。本文系统地研究了DP在不同微调方法和隐私预算下的影响，使用数据提取和成员推理攻击来评估经验隐私风险。研究发现：(1)差分隐私降低了模型效用，但其影响在不同的微调方法中差异显著。(2)在没有DP的情况下，使用不同方法微调的模型的隐私风险差异很大。(3)当应用DP时，即使是相对较高的隐私预算也能显著降低隐私风险。(4)DP训练下的隐私-效用权衡在不同的微调方法中差异很大，某些方法由于严重的效用下降而不适合DP。研究结果为LLMs的隐私部署提供了实践指导，并为未来优化微调方法中的隐私-效用权衡的研究铺平了道路。

🔬 方法详解

问题定义：论文旨在解决在微调大型语言模型（LLMs）时，如何有效利用差分隐私（DP）来保护训练数据中的敏感信息，并评估不同微调方法在DP保护下的隐私风险和效用损失。现有方法缺乏对不同微调策略下DP效果的系统性评估，无法指导实际应用中隐私保护LLM的部署。

核心思路：核心思路是通过在微调过程中引入差分隐私机制，限制模型对训练数据的记忆能力，从而降低隐私泄露的风险。通过系统性地实验，评估不同微调方法在不同隐私预算下的隐私风险和模型效用，从而找到一个合适的隐私-效用权衡。

技术框架：该研究的技术框架主要包含以下几个阶段：1) 选择不同的LLM微调方法，例如全参数微调、LoRA等；2) 在微调过程中应用差分隐私机制，例如DP-SGD；3) 使用数据提取攻击和成员推理攻击来评估微调后模型的隐私风险；4) 评估微调后模型的效用，例如在特定任务上的准确率；5) 分析不同微调方法在不同隐私预算下的隐私风险和效用损失，从而找到一个合适的隐私-效用权衡。

关键创新：该研究的关键创新在于对不同LLM微调方法在差分隐私保护下的隐私风险和效用损失进行了系统性的评估。以往的研究通常只关注单一的微调方法，而忽略了不同微调方法在隐私保护方面的差异。该研究通过对比不同微调方法在DP保护下的隐私风险和效用损失，为实际应用中选择合适的微调方法提供了指导。

关键设计：关键设计包括：1) 选择了多种具有代表性的LLM微调方法，例如全参数微调、LoRA等；2) 使用了DP-SGD算法来实现差分隐私保护；3) 使用了数据提取攻击和成员推理攻击来评估隐私风险，这些攻击方法能够有效地检测模型是否记忆了训练数据中的敏感信息；4) 使用了多种评估指标来衡量模型效用，例如在特定任务上的准确率、F1值等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，差分隐私能够有效降低LLM微调过程中的隐私风险，即使在相对较高的隐私预算下也能显著降低风险。然而，DP会降低模型效用，且不同微调方法的隐私-效用权衡差异很大。例如，某些方法在DP保护下效用损失严重，不适合DP训练。研究揭示了不同微调方法在隐私保护方面的差异，为实际应用提供了重要参考。

🎯 应用场景

该研究成果可应用于对隐私保护有较高要求的LLM部署场景，例如医疗、金融等领域。通过选择合适的微调方法和隐私预算，可以在保证模型效用的前提下，有效地降低隐私泄露的风险。该研究为未来开发更高效的隐私保护LLM微调方法提供了指导。

📄 摘要（原文）

Fine-tuning large language models (LLMs) has become an essential strategy for adapting them to specialized tasks; however, this process introduces significant privacy challenges, as sensitive training data may be inadvertently memorized and exposed. Although differential privacy (DP) offers strong theoretical guarantees against such leakage, its empirical privacy effectiveness on LLMs remains unclear, especially under different fine-tuning methods. In this paper, we systematically investigate the impact of DP across fine-tuning methods and privacy budgets, using both data extraction and membership inference attacks to assess empirical privacy risks. Our main findings are as follows: (1) Differential privacy reduces model utility, but its impact varies significantly across different fine-tuning methods. (2) Without DP, the privacy risks of models fine-tuned with different approaches differ considerably. (3) When DP is applied, even a relatively high privacy budget can substantially lower privacy risk. (4) The privacy-utility trade-off under DP training differs greatly among fine-tuning methods, with some methods being unsuitable for DP due to severe utility degradation. Our results provide practical guidance for privacy-conscious deployment of LLMs and pave the way for future research on optimizing the privacy-utility trade-off in fine-tuning methodologies.