The Janus Interface: How Fine-Tuning in Large Language Models Amplifies the Privacy Risks

📄 arXiv: 2310.15469v3 📥 PDF

作者: Xiaoyi Chen, Siyuan Tang, Rui Zhu, Shijun Yan, Lei Jin, Zihao Wang, Liya Su, Zhikun Zhang, XiaoFeng Wang, Haixu Tang

分类: cs.CR, cs.AI, cs.CL, cs.LG

发布日期: 2023-10-24 (更新: 2024-07-26)

备注: This work has been accepted by CCS 2024

期刊: ACM CCS 2024

💡 一句话要点

提出Janus攻击以解决大语言模型隐私泄露问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 隐私泄露 微调接口 PII恢复 网络安全 数据隐私 攻击方法

📋 核心要点

  1. 现有方法在提取大语言模型中的隐私数据时，受到模型幻觉和灾难性遗忘的影响，导致泄露信息的真实性不足。
  2. 本文提出的Janus攻击通过微调接口恢复遗忘的PII，针对现有方法的不足，提供了一种新的攻击思路。
  3. 实验结果表明，Janus在隐私风险方面的提升超过10倍，显著优于包括前缀攻击和上下文学习在内的最先进隐私提取攻击。

📝 摘要（中文）

随着大语言模型（LLMs）的快速发展，公众对其训练数据中个人可识别信息（PII）泄露的担忧日益加剧。研究表明，攻击者可以通过精心设计的提示从LLMs的训练数据中提取高度敏感的隐私数据。然而，现有攻击方法受到模型幻觉和灾难性遗忘（CF）的影响，导致泄露的PII的真实性较低。本文提出了一种新颖的攻击方法Janus，利用微调接口从LLMs的预训练数据中恢复遗忘的PII。通过对开源语言模型的实证分析，我们验证了这一隐私泄露问题，并评估了Janus在多个模型上的性能，结果显示其隐私风险比基线提高了10倍以上，显著优于现有的隐私提取攻击方法。

🔬 方法详解

问题定义：本文解决的是大语言模型中隐私泄露的问题，现有方法在提取PII时受到模型幻觉和灾难性遗忘的限制，导致提取效果不佳。

核心思路：Janus攻击利用微调接口，恢复在预训练阶段遗忘的PII，旨在提高隐私数据的提取成功率。通过这种方法，攻击者能够在较低成本下获取敏感信息。

技术框架：整体架构包括数据收集、微调接口的利用、PII恢复和性能评估等主要模块。首先，收集开源模型的训练数据，然后通过微调接口进行针对性攻击，最后评估恢复的PII的有效性。

关键创新：Janus攻击的核心创新在于通过微调接口恢复遗忘的PII，这与现有方法的直接提取方式有本质区别，能够有效提高隐私泄露的风险。

关键设计：在设计中，采用了特定的损失函数来优化PII的恢复过程，并对微调参数进行了精细调整，以确保攻击的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Janus攻击在隐私风险方面的提升超过10倍，相较于基线显著提高了隐私数据的提取成功率。此外，Janus在GPT-3.5-Turbo和LLaMA-2-7b等最新模型上表现优异，验证了其广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括网络安全、数据隐私保护和人工智能伦理等。通过揭示大语言模型中的隐私风险，研究为开发更安全的AI系统提供了重要参考，促进了对隐私保护技术的进一步研究与应用。

📄 摘要（原文）

The rapid advancements of large language models (LLMs) have raised public concerns about the privacy leakage of personally identifiable information (PII) within their extensive training datasets. Recent studies have demonstrated that an adversary could extract highly sensitive privacy data from the training data of LLMs with carefully designed prompts. However, these attacks suffer from the model's tendency to hallucinate and catastrophic forgetting (CF) in the pre-training stage, rendering the veracity of divulged PIIs negligible. In our research, we propose a novel attack, Janus, which exploits the fine-tuning interface to recover forgotten PIIs from the pre-training data in LLMs. We formalize the privacy leakage problem in LLMs and explain why forgotten PIIs can be recovered through empirical analysis on open-source language models. Based upon these insights, we evaluate the performance of Janus on both open-source language models and two latest LLMs, i.e., GPT-3.5-Turbo and LLaMA-2-7b. Our experiment results show that Janus amplifies the privacy risks by over 10 times in comparison with the baseline and significantly outperforms the state-of-the-art privacy extraction attacks including prefix attacks and in-context learning (ICL). Furthermore, our analysis validates that existing fine-tuning APIs provided by OpenAI and Azure AI Studio are susceptible to our Janus attack, allowing an adversary to conduct such an attack at a low cost.