A new membership inference attack that spots memorization in generative and predictive models: Loss-Based with Reference Model algorithm (LBRM)

📄 arXiv: 2505.03490v1 📥 PDF

作者: Faiz Taleb, Ivan Gazeau, Maryline Laurent

分类: cs.LG, cs.AI

发布日期: 2025-05-06

💡 一句话要点

提出LBRM算法，通过参考模型提升生成模型记忆化训练数据的检测精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 成员推理攻击 生成模型 时间序列插补 隐私保护 记忆化检测

📋 核心要点

  1. 生成模型存在记忆训练数据的风险，导致隐私泄露，现有方法在检测此类记忆化行为时准确率不足。
  2. LBRM算法利用参考模型，通过比较目标模型和参考模型的损失差异，更准确地识别出被记忆的训练数据。
  3. 实验表明，LBRM算法在检测记忆化数据方面显著优于现有方法，AUROC指标平均提升40%（无微调）至60%（微调）。

📝 摘要（中文）

生成模型可能无意中记忆训练数据，带来严重的隐私风险。本文针对时间序列插补模型中的记忆化现象，提出了基于参考模型的损失算法（LBRM）。LBRM方法利用参考模型来提高成员推理攻击的准确性，区分训练数据和测试数据。我们的贡献有两方面：首先，我们提出了一种有效提取和识别记忆化训练数据的新方法，显著提高了检测精度。平均而言，在没有微调的情况下，AUROC提高了约40%。经过微调，AUROC提高了约60%。其次，我们通过对两种时间序列插补架构进行成员推理攻击，验证了该方法的鲁棒性和通用性。这些结果突出了LBRM方法在提高检测精度方面的显著增强，解决了时间序列插补模型中的隐私风险。

🔬 方法详解

问题定义：论文旨在解决生成模型，特别是时间序列插补模型中，无意记忆训练数据而导致的隐私泄露问题。现有成员推理攻击方法在检测此类记忆化行为时，准确率较低，难以有效区分训练数据和测试数据。

核心思路：论文的核心思路是引入一个参考模型，该模型与目标模型结构相似，但未经过完全相同的训练数据训练。通过比较目标模型和参考模型在相同数据上的损失差异，可以更有效地识别出目标模型记忆的训练数据。这是因为记忆的数据在目标模型上的损失通常会显著低于参考模型。

技术框架：LBRM算法主要包含以下几个阶段：1) 训练目标模型，即待检测是否存在记忆化行为的生成模型。2) 训练参考模型，使用与目标模型相似的架构，但使用不同的或经过扰动的数据进行训练。3) 对目标模型和参考模型输入相同的数据，计算各自的损失。4) 基于损失差异，使用成员推理攻击算法判断该数据是否为目标模型的训练数据。

关键创新：LBRM算法的关键创新在于引入了参考模型，并利用损失差异进行成员推理。与传统的基于损失的成员推理攻击相比，LBRM算法能够更有效地消除模型泛化能力的影响，从而更准确地识别出被记忆的训练数据。

关键设计：LBRM算法的关键设计包括：参考模型的选择（架构相似但训练数据不同），损失函数的选择（例如均方误差），以及成员推理攻击算法的选择（例如基于阈值的分类器）。论文还探索了对目标模型进行微调以进一步提高检测精度的策略。具体参数设置和网络结构的选择取决于具体的应用场景和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LBRM算法在两种时间序列插补架构上均取得了显著的性能提升。在没有微调的情况下，AUROC指标平均提高了约40%。经过微调，AUROC指标平均提高了约60%。这些结果表明，LBRM算法能够有效地检测生成模型中的记忆化行为，并显著优于现有的成员推理攻击方法。

🎯 应用场景

该研究成果可应用于各种时间序列数据处理领域，例如金融预测、医疗诊断、物联网数据分析等。通过检测并缓解生成模型中的记忆化行为，可以有效保护用户隐私，提升数据安全性和可信度。未来，该方法可以推广到其他类型的生成模型和数据类型，为构建更安全的AI系统提供技术支撑。

📄 摘要（原文）

Generative models can unintentionally memorize training data, posing significant privacy risks. This paper addresses the memorization phenomenon in time series imputation models, introducing the Loss-Based with Reference Model (LBRM) algorithm. The LBRM method leverages a reference model to enhance the accuracy of membership inference attacks, distinguishing between training and test data. Our contributions are twofold: first, we propose an innovative method to effectively extract and identify memorized training data, significantly improving detection accuracy. On average, without fine-tuning, the AUROC improved by approximately 40\%. With fine-tuning, the AUROC increased by approximately 60\%. Second, we validate our approach through membership inference attacks on two types of architectures designed for time series imputation, demonstrating the robustness and versatility of the LBRM approach in different contexts. These results highlight the significant enhancement in detection accuracy provided by the LBRM approach, addressing privacy risks in time series imputation models.