PaCoST: Paired Confidence Significance Testing for Benchmark Contamination Detection in Large Language Models

📄 arXiv: 2406.18326v2 📥 PDF

作者: Huixuan Zhang, Yun Lin, Xiaojun Wan

分类: cs.CL, cs.AI

发布日期: 2024-06-26 (更新: 2025-03-18)

备注: Accepted by EMNLP 2024 Findings

💡 一句话要点

提出PaCoST，通过置信度显著性检验检测大语言模型中的基准污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 基准污染 置信度检验 模型评估 统计显著性

📋 核心要点

  1. 现有大语言模型可能在训练数据中包含基准测试数据，导致评估结果虚高，实际应用性能不佳，缺乏有效的检测方法。
  2. PaCoST的核心思想是通过构建与原始数据同分布的对应数据，比较模型在两组数据上的置信度差异，进行统计显著性检验。
  3. 实验表明，PaCoST能够有效检测大语言模型中的基准污染，并发现多个流行的开源模型和基准测试存在不同程度的污染。

📝 摘要（中文）

大型语言模型（LLM）通常在海量数据上进行训练，这些数据可能无意或有意地包含来自常用基准测试的数据。这种包含可能导致模型在排行榜上获得虚高分数，但在实际应用中却表现令人失望。为了解决这种基准污染问题，我们首先提出了一组实用的污染检测方法应遵循的要求。遵循这些要求，我们引入了PaCoST，一种配对置信度显著性检验，以有效检测LLM中的基准污染。我们的方法为每个数据片段构建一个具有相同分布的对应片段，并对相应的置信度进行统计分析，以测试模型在原始基准下是否明显更有信心。我们验证了PaCoST的有效性，并将其应用于流行的开源模型和基准测试。我们发现，我们测试的几乎所有模型和基准测试都或多或少地存在污染嫌疑。最后，我们呼吁新的LLM评估方法。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）在基准测试中表现虚高的问题，这是由于模型可能在训练过程中接触到了基准测试集的数据，导致其在这些数据集上表现出超过实际能力的性能。现有方法难以有效检测这种“基准污染”，缺乏一套系统性的检测标准和方法。

核心思路：PaCoST的核心思路是，如果模型在训练时接触过某个基准测试集，那么它在该基准测试集上的置信度应该显著高于在与其分布相似但未见过的“对应”数据集上的置信度。通过比较这两组数据上的置信度差异，可以判断模型是否受到了基准污染。

技术框架：PaCoST方法主要包含以下几个步骤：1) 为基准测试集中的每个数据样本构建一个“对应”样本，要求这两个样本具有相似的分布。2) 使用待测模型分别预测原始基准测试集和“对应”数据集，并记录模型对每个样本的置信度。3) 对比模型在两组数据上的置信度，进行统计显著性检验（例如，配对t检验）。如果模型在原始基准测试集上的置信度显著高于“对应”数据集，则认为该模型可能受到了基准污染。

关键创新：PaCoST的关键创新在于提出了基于“配对置信度显著性检验”的基准污染检测方法。与现有方法相比，PaCoST不需要访问模型的训练数据，也不需要对模型进行重新训练，具有更高的实用性和可操作性。此外，PaCoST还提出了一组实用的污染检测方法应遵循的要求，为后续研究提供了指导。

关键设计：PaCoST的关键设计包括：1) 如何构建与原始数据同分布的“对应”样本。论文中可能采用了数据增强、生成模型或其他方法来生成这些样本。2) 如何选择合适的统计显著性检验方法。论文中提到了配对t检验，但也可能使用了其他更适合特定数据分布的检验方法。3) 如何定义和衡量模型的“置信度”。这可能取决于模型的具体架构和任务类型，例如，对于分类任务，可以使用模型输出的softmax概率作为置信度。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，PaCoST能够有效检测大语言模型中的基准污染。研究发现，多个流行的开源模型和基准测试都存在不同程度的污染嫌疑。例如，某些模型在原始基准测试集上的置信度显著高于在“对应”数据集上的置信度，表明这些模型可能在训练过程中接触过基准测试数据。

🎯 应用场景

PaCoST可用于评估和筛选大语言模型，确保模型在实际应用中的可靠性和泛化能力。该方法有助于构建更值得信赖的AI系统，并促进LLM评估标准的改进。此外，该研究结果可指导模型开发者避免在训练过程中无意引入基准测试数据，从而提高模型的实际性能。

📄 摘要（原文）

Large language models (LLMs) are known to be trained on vast amounts of data, which may unintentionally or intentionally include data from commonly used benchmarks. This inclusion can lead to cheatingly high scores on model leaderboards, yet result in disappointing performance in real-world applications. To address this benchmark contamination problem, we first propose a set of requirements that practical contamination detection methods should follow. Following these proposed requirements, we introduce PaCoST, a Paired Confidence Significance Testing to effectively detect benchmark contamination in LLMs. Our method constructs a counterpart for each piece of data with the same distribution, and performs statistical analysis of the corresponding confidence to test whether the model is significantly more confident under the original benchmark. We validate the effectiveness of PaCoST and apply it on popular open-source models and benchmarks. We find that almost all models and benchmarks we tested are suspected contaminated more or less. We finally call for new LLM evaluation methods.