Task Contamination: Language Models May Not Be Few-Shot Anymore

📄 arXiv: 2312.16337v1 📥 PDF

作者: Changmao Li, Jeffrey Flanigan

分类: cs.CL

发布日期: 2023-12-26

备注: Accepted by AAAI 2024

💡 一句话要点

揭示大语言模型任务污染问题：零/少样本能力或被高估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 任务污染 零样本学习 少样本学习 评估方法 数据泄露 泛化能力

📋 核心要点

  1. 现有大语言模型在零/少样本学习中表现优异，但其性能可能受到训练数据中任务污染的影响。
  2. 论文通过时间划分数据集，比较模型在不同时间段数据集上的表现，以此评估任务污染程度。
  3. 实验结果表明，模型在训练前数据集上表现更好，且无污染分类任务提升有限，证实了任务污染的存在。

📝 摘要（中文）

大型语言模型（LLM）在各种零样本和少样本任务中表现出令人印象深刻的性能。然而，它们在零样本和少样本设置中的成功可能受到任务污染的影响，这是一个尚未得到充分检验的潜在限制。本文研究了LLM的零样本和少样本性能随时间推移的演变。通过使用GPT-3系列模型和几个其他最新的开源LLM，并控制数据集难度，我们发现LLM在训练数据创建日期之前发布的数据集上的表现明显优于之后发布的数据集。这强烈表明，对于许多LLM来说，对于在LLM训练数据创建日期之前发布的数据集，存在零样本和少样本评估的任务污染。此外，我们利用训练数据检查、任务示例提取和成员推理攻击，进一步揭示了任务污染的证据。重要的是，我们发现对于不存在任务污染可能性的分类任务，LLM在零样本和少样本设置中，很少表现出比简单的多数基线更显著的统计改进。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）在零样本和少样本学习中存在的任务污染问题。现有方法未能充分评估和控制任务污染对LLM性能的影响，导致对LLM真实能力的评估可能存在偏差。现有评估方法难以区分模型真正泛化能力和记忆训练数据的能力。

核心思路：论文的核心思路是通过时间划分数据集，将数据集分为LLM训练数据创建日期之前和之后两部分。如果LLM在训练前数据集上表现明显优于训练后数据集，则表明存在任务污染。此外，通过训练数据检查、任务示例提取和成员推理攻击等方法，进一步验证任务污染的存在。

技术框架：论文采用实证研究的方法，主要包含以下几个阶段： 1. 数据集划分：根据数据集发布日期与LLM训练数据创建日期，将数据集划分为训练前和训练后两部分。 2. 模型评估：在划分后的数据集上评估GPT-3系列模型和其他开源LLM的零样本和少样本性能。 3. 污染验证：通过训练数据检查、任务示例提取和成员推理攻击等方法，验证任务污染的存在。 4. 无污染任务评估：在不存在任务污染可能性的分类任务上评估LLM的性能，并与简单基线进行比较。

关键创新：论文最重要的技术创新点在于提出了基于时间划分数据集的任务污染评估方法。该方法能够有效区分LLM的泛化能力和记忆能力，从而更准确地评估LLM的真实性能。此外，论文还结合了多种验证方法，包括训练数据检查、任务示例提取和成员推理攻击，从而更全面地揭示了任务污染的存在。

关键设计：论文的关键设计包括： 1. 数据集选择：选择涵盖不同任务类型和难度的数据集，以保证评估的全面性。 2. 模型选择：选择具有代表性的GPT-3系列模型和其他开源LLM，以保证评估的广泛性。 3. 评估指标：采用准确率、F1值等常用指标评估LLM的性能。 4. 基线选择：选择简单多数基线作为对比，以评估LLM在无污染任务上的提升。

📊 实验亮点

研究发现，LLM在训练前数据集上的表现明显优于训练后数据集，表明存在任务污染。对于不存在任务污染可能性的分类任务，LLM的性能提升有限，甚至不如简单多数基线。例如，在某些无污染分类任务上，LLM的准确率仅略高于50%，与随机猜测无异。

🎯 应用场景

该研究成果可应用于更可靠地评估和比较大型语言模型，避免因任务污染而高估模型性能。有助于开发更鲁棒、泛化能力更强的模型，并指导数据集构建，减少数据泄露风险。在实际应用中，可以帮助用户选择更适合特定任务的模型，并对模型的预测结果进行更合理的评估。

📄 摘要（原文）

Large language models (LLMs) offer impressive performance in various zero-shot and few-shot tasks. However, their success in zero-shot and few-shot settings may be affected by task contamination, a potential limitation that has not been thoroughly examined. This paper investigates how zero-shot and few-shot performance of LLMs has changed chronologically over time. Utilizing GPT-3 series models and several other recent open-sourced LLMs, and controlling for dataset difficulty, we find that on datasets released before the LLM training data creation date, LLMs perform surprisingly better than on datasets released after. This strongly indicates that, for many LLMs, there exists task contamination on zero-shot and few-shot evaluation for datasets released prior to the LLMs' training data creation date. Additionally, we utilize training data inspection, task example extraction, and a membership inference attack, which reveal further evidence of task contamination. Importantly, we find that for classification tasks with no possibility of task contamination, LLMs rarely demonstrate statistically significant improvements over simple majority baselines, in both zero and few-shot settings.