Did the Neurons Read your Book? Document-level Membership Inference for Large Language Models

📄 arXiv: 2310.15007v2 📥 PDF

作者: Matthieu Meeus, Shubham Jain, Marek Rei, Yves-Alexandre de Montjoye

分类: cs.CL, cs.CR, cs.LG

发布日期: 2023-10-23 (更新: 2024-07-15)

备注: Accepted at 33rd USENIX Security Symposium (USENIX Security 2024)

💡 一句话要点

提出文档级成员推断方法以提高LLM透明度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档级推断 大型语言模型 数据透明性 隐私保护 模型评估

📋 核心要点

  1. 当前LLM的训练数据透明性不足，导致对其潜在偏见和版权问题的担忧。
  2. 本文提出了一种文档级成员推断方法，通过黑箱方式判断LLM是否见过特定文档。
  3. 实验结果表明，提出的方法在文档级推断上表现优异，AUC分别为0.856和0.678，超越了现有的句子级推断方法。

📝 摘要（中文）

随着大型语言模型（LLMs）逐渐融入我们的日常生活，关于其训练数据的透明性问题日益突出。本文提出了文档级成员推断任务，旨在判断LLM是否在训练中见过特定文档。我们提出了一种基于常用数据源和模型发布日期的开发与评估程序，并在OpenLLaMA-7B上实现了黑箱推断方法，针对书籍和学术论文进行了测试。实验结果显示，书籍的AUC达到了0.856，论文为0.678，且我们的方案在文档级推断上优于现有的句子级推断方法。最后，我们探讨了两种缓解策略，发现部分文档的考虑会导致AUC缓慢下降，但模型精度降低时仍保持较高水平。

🔬 方法详解

问题定义：本文旨在解决文档级成员推断的问题，即判断大型语言模型是否在训练中见过特定文档。现有方法多集中于句子级推断，缺乏对文档整体的考虑，导致推断准确性不足。

核心思路：我们提出了一种黑箱推断方法，利用常用数据源和模型发布日期来评估文档级成员推断。通过这种方式，可以有效推断出LLM的训练数据来源。

技术框架：整体流程包括数据收集、模型训练和评估三个主要模块。首先，收集训练数据和模型信息；其次，构建推断模型；最后，通过AUC等指标评估推断效果。

关键创新：本文的主要创新在于提出了文档级推断的概念，并实现了在OpenLLaMA-7B模型上的具体应用，显著提高了推断的准确性。与现有方法相比，我们的方法能够更全面地考虑文档内容。

关键设计：在模型设计中，我们设置了特定的参数以优化推断效果，并采用了适合文档级推断的损失函数。网络结构方面，结合了文本特征提取和分类模块，以提高推断的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在书籍的文档级推断中达到了0.856的AUC，在学术论文中为0.678，均优于现有的句子级推断方法。这表明文档级推断在提高LLM透明度方面具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括法律、出版和数据隐私等行业，能够帮助相关方评估大型语言模型的训练数据来源，从而提高技术的透明度和可信度。未来，该方法可能促进对LLM的监管和合规性检查，确保其使用符合伦理标准。

📄 摘要（原文）

With large language models (LLMs) poised to become embedded in our daily lives, questions are starting to be raised about the data they learned from. These questions range from potential bias or misinformation LLMs could retain from their training data to questions of copyright and fair use of human-generated text. However, while these questions emerge, developers of the recent state-of-the-art LLMs become increasingly reluctant to disclose details on their training corpus. We here introduce the task of document-level membership inference for real-world LLMs, i.e. inferring whether the LLM has seen a given document during training or not. First, we propose a procedure for the development and evaluation of document-level membership inference for LLMs by leveraging commonly used data sources for training and the model release date. We then propose a practical, black-box method to predict document-level membership and instantiate it on OpenLLaMA-7B with both books and academic papers. We show our methodology to perform very well, reaching an AUC of 0.856 for books and 0.678 for papers. We then show our approach to outperform the sentence-level membership inference attacks used in the privacy literature for the document-level membership task. We further evaluate whether smaller models might be less sensitive to document-level inference and show OpenLLaMA-3B to be approximately as sensitive as OpenLLaMA-7B to our approach. Finally, we consider two mitigation strategies and find the AUC to slowly decrease when only partial documents are considered but to remain fairly high when the model precision is reduced. Taken together, our results show that accurate document-level membership can be inferred for LLMs, increasing the transparency of technology poised to change our lives.