Beyond Memorization: Violating Privacy Via Inference with Large Language Models

📄 arXiv: 2310.07298v2 📥 PDF

作者: Robin Staab, Mark Vero, Mislav Balunović, Martin Vechev

分类: cs.AI, cs.LG

发布日期: 2023-10-11 (更新: 2024-05-06)

💡 一句话要点

研究大型语言模型推断个人属性以解决隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 大型语言模型 推断能力 个人属性 社交媒体

📋 核心要点

  1. 核心问题：现有研究主要关注记忆数据的提取，忽视了LLMs在推断个人属性方面的隐私风险。
  2. 方法要点：构建真实数据集，评估LLMs推断个人属性的能力，并分析隐私侵犯的潜在威胁。
  3. 实验或效果：LLMs在推断准确率上达到$85 ext{%}$的top-1和$95 ext{%}$的top-3，显著优于人类。

📝 摘要（中文）

当前对大型语言模型（LLMs）的隐私研究主要集中在提取记忆训练数据的问题上。然而，模型的推断能力显著增强，这引发了一个关键问题：现有LLMs是否可能通过推断文本中的个人属性来侵犯个人隐私。本文首次全面研究了预训练LLMs从文本中推断个人属性的能力，构建了一个包含真实Reddit个人资料的数据集，结果显示当前LLMs能够推断出多种个人属性（如位置、收入、性别），在成本和时间上分别比人类节省了$100 imes$和$240 imes$。随着人们越来越多地与LLM驱动的聊天机器人互动，本文还探讨了隐私侵犯聊天机器人的新兴威胁。最后，研究表明常见的隐私保护措施（如文本匿名化和模型对齐）在抵御LLM推断方面效果不佳，强调了对LLM隐私影响的更广泛讨论的必要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推断过程中可能侵犯个人隐私的问题。现有方法主要集中在记忆数据的提取，未能充分考虑推断能力带来的隐私风险。

核心思路：通过构建包含真实Reddit个人资料的数据集，评估LLMs在推断个人属性（如位置、收入、性别）方面的能力，揭示其隐私侵犯的潜在威胁。

技术框架：研究首先收集和整理真实的社交媒体数据，随后利用预训练的LLMs进行推断，最后分析推断结果的准确性和隐私风险。

关键创新：本文的创新点在于首次系统性地评估了LLMs在推断个人属性方面的能力，揭示了其在隐私侵犯方面的潜在风险，与传统的隐私研究方法形成鲜明对比。

关键设计：在实验中，采用了多种评估指标（如top-1和top-3准确率），并通过与人类推断的成本和时间进行对比，展示了LLMs在推断效率上的显著优势。实验还探讨了文本匿名化和模型对齐等常见隐私保护措施的不足之处。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，当前LLMs在推断个人属性方面的top-1准确率高达$85 ext{%}$，top-3准确率达到$95 ext{%}$，在成本和时间上分别比人类节省了$100 imes$和$240 imes$，展现出显著的推断能力和效率。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线客服系统和智能助手等，能够帮助开发者更好地理解和应对LLMs在隐私保护方面的挑战。随着人们对隐私的关注增加，该研究为未来的隐私保护技术提供了重要的理论基础和实践指导。

📄 摘要（原文）

Current privacy research on large language models (LLMs) primarily focuses on the issue of extracting memorized training data. At the same time, models' inference capabilities have increased drastically. This raises the key question of whether current LLMs could violate individuals' privacy by inferring personal attributes from text given at inference time. In this work, we present the first comprehensive study on the capabilities of pretrained LLMs to infer personal attributes from text. We construct a dataset consisting of real Reddit profiles, and show that current LLMs can infer a wide range of personal attributes (e.g., location, income, sex), achieving up to $85\%$ top-1 and $95\%$ top-3 accuracy at a fraction of the cost ($100\times$) and time ($240\times$) required by humans. As people increasingly interact with LLM-powered chatbots across all aspects of life, we also explore the emerging threat of privacy-invasive chatbots trying to extract personal information through seemingly benign questions. Finally, we show that common mitigations, i.e., text anonymization and model alignment, are currently ineffective at protecting user privacy against LLM inference. Our findings highlight that current LLMs can infer personal data at a previously unattainable scale. In the absence of working defenses, we advocate for a broader discussion around LLM privacy implications beyond memorization, striving for a wider privacy protection.