Proving Test Set Contamination in Black Box Language Models
作者: Yonatan Oren, Nicole Meister, Niladri Chatterji, Faisal Ladhak, Tatsunori B. Hashimoto
分类: cs.CL, cs.LG
发布日期: 2023-10-26 (更新: 2023-11-24)
💡 一句话要点
提出无需访问预训练数据的语言模型测试集污染证明方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 测试集污染 排序可能性 模型审计 数据透明性
📋 核心要点
- 现有方法难以证明语言模型的测试集污染，尤其是在缺乏预训练数据的情况下。
- 论文提出了一种基于排序可能性的方法，通过比较标准排序与随机排序的可能性来检测污染。
- 实验结果表明，该方法在小型模型和小型测试集上均能有效识别污染，且未发现普遍污染的证据。
📝 摘要（中文）
大型语言模型在海量互联网数据上进行训练，这引发了对其是否记忆公共基准的担忧。将这种猜测转化为污染证明是具有挑战性的，因为专有模型使用的预训练数据通常不可公开获取。本文展示了在不访问预训练数据或模型权重的情况下，如何提供可证明的测试集污染保证。我们的方法利用了当没有数据污染时，所有可交换基准的排序应该是同样可能的这一事实。相反，语言模型倾向于记忆示例顺序，这意味着污染的语言模型会发现某些标准排序比其他排序更可能。我们的测试方法在标准排序的基准数据集的可能性显著高于随机打乱示例后的可能性时，标记潜在污染。我们证明了该程序在小型测试集和小型模型中也能可靠地证明测试集污染。
🔬 方法详解
问题定义：本文旨在解决如何在不访问预训练数据的情况下证明语言模型的测试集污染。现有方法面临的挑战在于缺乏可验证的证据，尤其是对于专有模型。
核心思路：论文的核心思路是利用语言模型对示例顺序的记忆特性，通过比较标准排序与随机排序的可能性来识别污染。当模型记忆了特定的示例顺序时，标准排序的可能性会显著高于随机排序。
技术框架：整体流程包括数据集的准备、标准排序和随机排序的可能性计算，以及污染检测的判定。主要模块包括数据预处理、排序可能性分析和结果评估。
关键创新：最重要的技术创新在于提出了一种无须访问预训练数据的污染证明方法，利用排序可能性来进行检测。这与现有方法的本质区别在于不依赖于模型内部状态或训练数据。
关键设计：在关键设计上，论文设定了标准排序和随机排序的比较阈值，以确定污染的显著性。此外，方法在小型模型（如1.4亿参数）和小型测试集（1000个示例）上进行了优化，确保其灵敏度和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在小型语言模型上能够有效识别测试集污染，尤其是在仅有1000个示例的小型测试集上，表现出良好的灵敏度。通过对五个流行的公开语言模型进行审计，发现几乎没有普遍污染的证据，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括语言模型的安全性审计、模型透明性提升以及对模型训练数据的合规性检查。通过提供可验证的污染检测方法，可以增强用户对语言模型的信任，并在实际应用中降低潜在风险。
📄 摘要（原文）
Large language models are trained on vast amounts of internet data, prompting concerns and speculation that they have memorized public benchmarks. Going from speculation to proof of contamination is challenging, as the pretraining data used by proprietary models are often not publicly accessible. We show that it is possible to provide provable guarantees of test set contamination in language models without access to pretraining data or model weights. Our approach leverages the fact that when there is no data contamination, all orderings of an exchangeable benchmark should be equally likely. In contrast, the tendency for language models to memorize example order means that a contaminated language model will find certain canonical orderings to be much more likely than others. Our test flags potential contamination whenever the likelihood of a canonically ordered benchmark dataset is significantly higher than the likelihood after shuffling the examples. We demonstrate that our procedure is sensitive enough to reliably prove test set contamination in challenging situations, including models as small as 1.4 billion parameters, on small test sets of only 1000 examples, and datasets that appear only a few times in the pretraining corpus. Using our test, we audit five popular publicly accessible language models for test set contamination and find little evidence for pervasive contamination.