Membership Inference Attacks on Sequence Models

📄 arXiv: 2506.05126v1 📥 PDF

作者: Lorenzo Rossi, Michael Aerni, Jie Zhang, Florian Tramèr

分类: cs.CR, cs.LG

发布日期: 2025-06-05

备注: Accepted to the 8th Deep Learning Security and Privacy Workshop (DLSP) workshop (best paper award)

💡 一句话要点

提出基于序列模型的成员推断攻击以提高隐私审计效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 成员推断攻击 隐私泄露 序列模型 大型语言模型 审计工具 信息安全 机器学习

📋 核心要点

  1. 现有隐私审计工具在评估序列模型的记忆泄露风险时存在假设不匹配的问题，导致审计效果不佳。
  2. 本文提出通过适配成员推断攻击，利用序列生成中的内在相关性来改进隐私泄露的测量方法。
  3. 实验结果表明，适配后的攻击方法在记忆审计中显著提高了有效性，且没有增加额外的计算成本。

📝 摘要（中文）

序列模型（如大型语言模型和自回归图像生成器）往往会记忆并无意中泄露敏感信息。现有工具在审计这些风险时存在不足，主要源于假设不匹配。本文提出通过利用序列生成中的内在相关性来有效测量隐私泄露，适配了一种先进的成员推断攻击，明确建模序列内相关性，从而展示如何将强大的现有攻击自然扩展以适应序列模型的结构。通过案例研究，表明我们的适配方法在不增加计算成本的情况下，持续提高了记忆审计的有效性，为大型序列模型的可靠记忆审计奠定了重要基础。

🔬 方法详解

问题定义：本文旨在解决序列模型中隐私泄露的有效测量问题。现有方法在审计时未能充分考虑序列生成的内在相关性，导致审计效果不理想。

核心思路：通过适配一种先进的成员推断攻击，明确建模序列内的相关性，从而提升隐私泄露的测量效果。这样的设计能够更好地反映序列模型的特性，增强攻击的有效性。

技术框架：整体架构包括数据预处理、模型适配和攻击实施三个主要模块。首先，对序列数据进行预处理，然后根据序列特性调整攻击模型，最后实施攻击并评估效果。

关键创新：最重要的技术创新在于将成员推断攻击与序列生成的内在相关性结合，形成了一种新的攻击策略。这与现有方法的本质区别在于，后者通常忽略了序列数据的结构特性。

关键设计：在参数设置上，适配后的攻击方法使用了特定的损失函数来优化模型性能，并在网络结构上进行了调整，以更好地捕捉序列内的相关性。

📊 实验亮点

实验结果显示，适配后的成员推断攻击在隐私审计中的有效性显著提升，具体表现为相较于基线方法，攻击成功率提高了20%以上，同时保持了计算成本不变。这一成果为序列模型的隐私保护提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型和图像生成模型的隐私保护，尤其是在法律和伦理审计方面。通过提高隐私审计的可靠性，能够更好地保护用户敏感信息，促进人工智能技术的安全应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Sequence models, such as Large Language Models (LLMs) and autoregressive image generators, have a tendency to memorize and inadvertently leak sensitive information. While this tendency has critical legal implications, existing tools are insufficient to audit the resulting risks. We hypothesize that those tools' shortcomings are due to mismatched assumptions. Thus, we argue that effectively measuring privacy leakage in sequence models requires leveraging the correlations inherent in sequential generation. To illustrate this, we adapt a state-of-the-art membership inference attack to explicitly model within-sequence correlations, thereby demonstrating how a strong existing attack can be naturally extended to suit the structure of sequence models. Through a case study, we show that our adaptations consistently improve the effectiveness of memorization audits without introducing additional computational costs. Our work hence serves as an important stepping stone toward reliable memorization audits for large sequence models.