Does Data Contamination Detection Work (Well) for LLMs? A Survey and Evaluation on Detection Assumptions

📄 arXiv: 2410.18966v3 📥 PDF

作者: Yujuan Fu, Ozlem Uzuner, Meliha Yetisgen, Fei Xia

分类: cs.CL

发布日期: 2024-10-24 (更新: 2025-05-09)

备注: This paper is accepted by NAACL 2025 findings. Link to the paper presentation: https://youtu.be/IhaxwbZOcaU

💡 一句话要点

系统性评估LLM数据污染检测方法，揭示现有方法在实际应用中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据污染检测 大型语言模型 成员推理攻击 模型评估 数据分布偏移

📋 核心要点

  1. 大型语言模型评估面临数据污染挑战，即训练数据与评估集重叠导致性能虚高，现有检测方法依赖的假设缺乏充分验证。
  2. 该研究系统性地回顾了50篇数据污染检测论文，对检测方法背后的假设进行分类，并评估其有效性。
  3. 通过案例研究发现，基于特定假设的成员推理攻击（MIA）在LLM预训练数据集上表现接近随机猜测，且易受数据分布偏移影响。

📝 摘要（中文）

大型语言模型（LLMs）在各种基准测试中表现出卓越的性能，展现了作为通用任务解决者的潜力。然而，由于LLMs通常在海量数据上进行训练，其评估中的一个重要问题是数据污染，即训练数据和评估数据集之间的重叠会夸大性能评估。已经开发了多种方法来识别数据污染。这些方法依赖于特定的假设，这些假设可能并非在所有设置中都普遍成立。为了弥合这一差距，我们系统地回顾了50篇关于数据污染检测的论文，对潜在的假设进行分类，并评估它们是否经过了严格的验证。我们识别并分析了八类假设，并将其中三个作为案例研究进行测试。我们的案例研究侧重于检测直接的、实例级别的数据污染，也称为成员推理攻击（MIA）。我们的分析表明，基于这三个假设的MIA方法可能具有与随机猜测相似的性能，这表明当前的LLMs可能学习数据分布而不是记忆单个实例。同时，当已见实例和未见实例之间存在数据分布偏移时，MIA很容易失败。

🔬 方法详解

问题定义：论文旨在评估现有数据污染检测方法在大型语言模型（LLMs）中的有效性。现有方法依赖于某些假设，但这些假设在实际应用中可能不成立，导致检测结果不可靠。现有方法的痛点在于缺乏对这些假设的系统性验证，以及对数据分布偏移的考虑不足。

核心思路：论文的核心思路是对现有数据污染检测方法背后的假设进行分类和评估，并通过案例研究验证这些假设在实际LLM预训练数据集上的有效性。通过分析检测方法的失败案例，揭示其局限性，并为未来研究提供指导。

技术框架：论文的技术框架主要包括以下几个阶段：1) 文献综述：系统性地回顾了50篇关于数据污染检测的论文。2) 假设分类：对这些论文中使用的假设进行分类，识别出八类假设。3) 案例研究：选择其中三个假设，并通过成员推理攻击（MIA）在LLM预训练数据集上进行验证。4) 结果分析：分析MIA的性能，并评估其在不同数据分布下的有效性。

关键创新：论文的关键创新在于对数据污染检测方法背后的假设进行了系统性的分类和评估。通过案例研究，揭示了现有方法在实际应用中的局限性，并指出了未来研究的方向。与现有方法相比，该研究更加关注假设的有效性，以及数据分布偏移对检测结果的影响。

关键设计：论文的关键设计包括：1) 选择成员推理攻击（MIA）作为案例研究的方法，因为它能够直接检测实例级别的数据污染。2) 在LLM预训练数据集上进行实验，以模拟实际应用场景。3) 考虑数据分布偏移对MIA性能的影响，通过对比不同数据分布下的结果，评估其鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于特定假设的成员推理攻击（MIA）在LLM预训练数据集上的表现接近随机猜测，这意味着当前的LLMs可能学习数据分布而不是记忆单个实例。同时，MIA在数据分布偏移的情况下容易失效，表明现有方法的鲁棒性不足。

🎯 应用场景

该研究成果可应用于大型语言模型的安全评估，帮助识别和缓解数据污染问题，提高模型评估的可靠性。此外，该研究也为未来数据污染检测方法的设计提供了指导，促进更安全、更可靠的LLM开发。

📄 摘要（原文）

Large language models (LLMs) have demonstrated great performance across various benchmarks, showing potential as general-purpose task solvers. However, as LLMs are typically trained on vast amounts of data, a significant concern in their evaluation is data contamination, where overlap between training data and evaluation datasets inflates performance assessments. Multiple approaches have been developed to identify data contamination. These approaches rely on specific assumptions that may not hold universally across different settings. To bridge this gap, we systematically review 50 papers on data contamination detection, categorize the underlying assumptions, and assess whether they have been rigorously validated. We identify and analyze eight categories of assumptions and test three of them as case studies. Our case studies focus on detecting direct, instance-level data contamination, which is also referred to as Membership Inference Attacks (MIA). Our analysis reveals that MIA approaches based on these three assumptions can have similar performance to random guessing, on datasets used in LLM pretraining, suggesting that current LLMs might learn data distributions rather than memorizing individual instances. Meanwhile, MIA can easily fail when there are data distribution shifts between the seen and unseen instances.