The Emperor's New Clothes in Benchmarking? A Rigorous Examination of Mitigation Strategies for LLM Benchmark Data Contamination

📄 arXiv: 2503.16402v1 📥 PDF

作者: Yifan Sun, Han Wang, Dongbai Li, Gang Wang, Huan Zhang

分类: cs.AI, cs.CL, cs.LG

发布日期: 2025-03-20

备注: 23 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出系统评估方法以解决大语言模型基准数据污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基准数据污染 大语言模型 评估策略 保真度 污染抵抗力 机器学习评估 AI可靠性

📋 核心要点

  1. 基准数据污染（BDC）导致大语言模型评估中的性能估计虚假膨胀，现有评估方法未能有效解决这一问题。
  2. 本文提出了一种系统化的评估管道，并引入保真度和污染抵抗力两个新指标，以实现对BDC缓解策略的细致评估。
  3. 实验结果表明，现有的BDC缓解策略在所有基准上均未显著改善抵抗力，且未能有效平衡保真度与污染抵抗力。

📝 摘要（中文）

基准数据污染（BDC）是指在训练集中包含基准测试样本，这在大语言模型（LLM）评估中引发了越来越多的关注，导致性能估计虚假膨胀，削弱了评估的可靠性。为了解决这一问题，研究人员提出了各种缓解策略来更新现有基准。然而，缺乏对这些缓解策略有效性的严格检验。本文设计了一种系统化的控制流程，并提出了两个新颖的指标——保真度和污染抵抗力，以提供对现有BDC缓解策略的细致和全面评估。通过对10个LLM、5个基准、20种BDC缓解策略和2种污染场景的广泛实验，发现现有策略在所有基准上都未显著提高抵抗力，且没有有效平衡保真度与污染抵抗力。这些发现强调了设计更有效的BDC缓解策略的迫切需求。

🔬 方法详解

问题定义：本文旨在解决基准数据污染（BDC）对大语言模型评估的影响，现有方法主要集中在整体准确率，导致评估结果不完整或误导。

核心思路：通过设计系统化的评估管道和引入新的评估指标，强调问题级别的评估结果匹配，以更全面地评估BDC缓解策略的有效性。

技术框架：整体架构包括数据准备、评估指标计算和结果分析三个主要模块。数据准备阶段涉及对现有基准的修改和新问题的生成，评估指标计算阶段则使用保真度和污染抵抗力进行评估，最后进行结果分析以得出结论。

关键创新：引入保真度和污染抵抗力两个新指标，强调问题级别的评估，克服了传统方法仅关注整体准确率的局限性。

关键设计：在评估过程中，设置了多个实验场景，包括不同的污染情况和多种缓解策略，确保评估结果的全面性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有的20种BDC缓解策略在所有基准上均未显著提高污染抵抗力，相较于未更新基准的情况，未能有效改善模型的评估效果。这一发现强调了当前策略的不足，呼吁更有效的解决方案的设计。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的开发与评估、机器学习基准的设计以及AI系统的可靠性验证。通过提供更有效的BDC缓解策略，能够提高模型评估的准确性和可信度，进而推动AI技术的实际应用和发展。

📄 摘要（原文）

Benchmark Data Contamination (BDC)-the inclusion of benchmark testing samples in the training set-has raised increasing concerns in Large Language Model (LLM) evaluation, leading to falsely inflated performance estimates and undermining evaluation reliability. To address this, researchers have proposed various mitigation strategies to update existing benchmarks, including modifying original questions or generating new ones based on them. However, a rigorous examination of the effectiveness of these mitigation strategies remains lacking. In this paper, we design a systematic and controlled pipeline along with two novel metrics-fidelity and contamination resistance-to provide a fine-grained and comprehensive assessment of existing BDC mitigation strategies. Previous assessment methods, such as accuracy drop and accuracy matching, focus solely on aggregate accuracy, often leading to incomplete or misleading conclusions. Our metrics address this limitation by emphasizing question-level evaluation result matching. Extensive experiments with 10 LLMs, 5 benchmarks, 20 BDC mitigation strategies, and 2 contamination scenarios reveal that no existing strategy significantly improves resistance over the vanilla case (i.e., no benchmark update) across all benchmarks, and none effectively balances fidelity and contamination resistance. These findings underscore the urgent need for designing more effective BDC mitigation strategies. Our code repository is available at https://github.com/ASTRAL-Group/BDC_mitigation_assessment.