Data Contamination Calibration for Black-box LLMs

📄 arXiv: 2405.11930v2 📥 PDF

作者: Wentao Ye, Jiaqi Hu, Liyao Li, Haobo Wang, Gang Chen, Junbo Zhao

分类: cs.LG

发布日期: 2024-05-20 (更新: 2024-06-03)

💡 一句话要点

提出极化增强校准(PAC)方法，用于检测和缓解黑盒LLM中的数据污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据污染检测 成员推理攻击 极化增强校准 黑盒模型

📋 核心要点

  1. 现有LLM训练数据规模庞大，但其中可能包含基准测试数据，导致模型在这些基准上表现虚高，缺乏泛化能力。
  2. 论文提出极化增强校准(PAC)方法，通过扩展成员推理攻击(MIA)，更有效地检测训练数据中的污染。
  3. 实验表明，PAC在多种数据集和LLM上优于现有方法至少4.5%，并揭示了真实场景中数据污染的普遍性。

📝 摘要（中文）

大型语言模型(LLM)的快速发展与训练数据规模的扩大密切相关。然而，未经检查的超大规模训练集引入了一系列潜在风险，例如数据污染，即基准测试数据被用于训练。本文提出了一种名为极化增强校准(PAC)的整体方法，并发布一个新的数据集，以检测受污染的数据并减少污染的影响。PAC扩展了机器学习领域中流行的成员推理攻击(MIA)，通过形成一个更全局的目标来检测训练数据，从而阐明不可见的训练数据。作为一项开创性工作，PAC具有很强的即插即用性，可以与当前大多数(如果不是全部)白盒和黑盒LLM集成。通过大量实验，PAC在数据污染检测方面优于现有方法至少4.5%，适用于更多的数据集格式，并应用于超过10个基础LLM。此外，我们在真实场景中的应用突出了污染的显著存在和相关问题。

🔬 方法详解

问题定义：论文旨在解决黑盒大型语言模型（LLM）训练过程中数据污染的问题。数据污染指的是训练集中包含了用于评估模型的基准数据集，导致模型在这些基准上表现虚高，无法真实反映模型的泛化能力。现有方法在检测和缓解数据污染方面存在不足，尤其是在黑盒场景下，难以直接访问模型内部信息进行分析。

核心思路：论文的核心思路是利用极化增强校准（PAC）方法，扩展传统的成员推理攻击（MIA），从而更有效地识别训练数据中的污染样本。PAC通过构建一个更全局的训练数据检测目标，区分模型“见过”和“没见过”的数据，从而推断哪些数据可能被用于训练。

技术框架：PAC方法主要包含以下几个阶段：1) 数据增强：对原始数据进行极化增强，生成正样本和负样本，正样本与训练数据相似，负样本与训练数据差异较大。2) 成员推理攻击：利用增强后的数据，训练一个成员推理模型，判断输入样本是否属于训练集。3) 校准：对成员推理模型的输出进行校准，提高检测的准确性。整体流程是即插即用的，可以方便地集成到现有的LLM训练流程中。

关键创新：PAC的关键创新在于其极化增强策略和全局检测目标。传统的MIA方法通常只关注单个样本的成员关系，而PAC通过极化增强，构建了更具区分性的正负样本，从而提高了检测的准确性。此外，PAC的目标是检测整个训练数据集的污染情况，而不是仅仅识别单个污染样本，这使得PAC能够更全面地评估数据污染的影响。

关键设计：PAC的关键设计包括：1) 极化增强策略：设计合适的增强方法，生成与训练数据相似和差异较大的正负样本。2) 成员推理模型：选择合适的模型结构和训练方法，提高成员推理的准确性。3) 校准方法：采用合适的校准方法，降低成员推理模型的误判率。具体的参数设置和损失函数选择需要根据具体的LLM和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PAC方法在数据污染检测方面取得了显著的性能提升，在多种数据集格式和超过10个基础LLM上，PAC优于现有方法至少4.5%。实验结果表明，真实世界的数据集中普遍存在数据污染问题，这进一步验证了PAC方法的实用性和价值。此外，论文还发布了一个新的数据集，为后续研究提供了宝贵的资源。

🎯 应用场景

该研究成果可应用于提升大型语言模型的可靠性和可信度。通过检测和缓解数据污染，可以确保模型在基准测试上的表现能够真实反映其泛化能力。这对于需要高度可靠的LLM应用场景，如医疗诊断、金融分析等，具有重要意义。此外，该方法还可以用于评估现有LLM的数据污染程度，为模型选择和使用提供参考。

📄 摘要（原文）

The rapid advancements of Large Language Models (LLMs) tightly associate with the expansion of the training data size. However, the unchecked ultra-large-scale training sets introduce a series of potential risks like data contamination, i.e. the benchmark data is used for training. In this work, we propose a holistic method named Polarized Augment Calibration (PAC) along with a new to-be-released dataset to detect the contaminated data and diminish the contamination effect. PAC extends the popular MIA (Membership Inference Attack) -- from machine learning community -- by forming a more global target at detecting training data to Clarify invisible training data. As a pioneering work, PAC is very much plug-and-play that can be integrated with most (if not all) current white- and black-box LLMs. By extensive experiments, PAC outperforms existing methods by at least 4.5%, towards data contamination detection on more 4 dataset formats, with more than 10 base LLMs. Besides, our application in real-world scenarios highlights the prominent presence of contamination and related issues.