BenTo: Benchmark Task Reduction with In-Context Transferability

📄 arXiv: 2410.13804v3 📥 PDF

作者: Hongyu Zhao, Ming Li, Lichao Sun, Tianyi Zhou

分类: cs.CL

发布日期: 2024-10-17 (更新: 2024-10-21)

备注: https://github.com/tianyi-lab/bento

💡 一句话要点

BenTo：利用上下文迁移性进行大模型评测基准任务缩减

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型评估 基准测试缩减 上下文学习 任务迁移性 设施选址

📋 核心要点

  1. 现有大语言模型评测需要大量任务，成本高昂，如何高效缩减评测任务数量成为关键问题。
  2. 论文核心思想是利用任务间的可迁移性和相关性，通过优化设施选址函数选择最具代表性的任务子集。
  3. 实验表明，该方法可以将MMLU或FLAN等基准测试任务减少到5%，评估差异小于4%，且无需训练和梯度计算。

📝 摘要（中文）

评估大型语言模型（LLMs）的成本很高，需要在各种任务的大规模基准上生成和检查LLM的输出。本文研究了如何在不影响评估质量的前提下，有效地减少用于评估LLM的基准任务。研究表明，任务的可迁移性和相关性提供了关键信息，可以通过优化设施选址函数来识别最具代表性的任务子集。我们提出了一种实用的高效指标，用于通过上下文学习（ICL）估计两个任务之间的可迁移性。通过分析成对可迁移性，我们可以将现代LLM基准（例如，MMLU或FLAN）中的任务减少到5％，同时仅对原始基准的评估产生<4％的差异。与先前的工作相比，我们的方法是免训练、免梯度且高效的，仅需要ICL。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）评估依赖于大规模的基准测试，这些基准测试包含各种不同的任务。然而，对LLM在这些任务上的表现进行评估需要大量的计算资源和时间。因此，如何在不显著影响评估质量的前提下，减少所需的评估任务数量是一个重要的挑战。现有方法通常需要训练额外的模型或计算梯度，效率较低，且可能引入额外的偏差。

核心思路：本文的核心思路是利用任务之间的可迁移性来选择最具代表性的任务子集。如果一个任务能够很好地迁移到其他任务，那么它就可以代表这些任务，从而减少所需的评估任务数量。具体来说，论文通过上下文学习（ICL）来估计任务之间的可迁移性，并使用设施选址函数来选择最具代表性的任务子集。

技术框架：BenTo方法主要包含以下几个阶段：1. 任务可迁移性估计：使用上下文学习（ICL）来估计任务之间的成对可迁移性。具体来说，对于每对任务，使用一个任务作为上下文来提示LLM完成另一个任务，并根据LLM的性能来估计可迁移性。2. 任务选择：使用设施选址函数来选择最具代表性的任务子集。设施选址函数的目标是选择一组任务，使得每个未被选择的任务都可以被至少一个被选择的任务很好地代表。3. 模型评估：使用选择的任务子集来评估LLM的性能。

关键创新：该方法的主要创新在于提出了一种基于上下文学习（ICL）的任务可迁移性估计方法。与现有方法相比，该方法无需训练额外的模型或计算梯度，因此更加高效且易于实现。此外，该方法还利用了设施选址函数来选择最具代表性的任务子集，从而进一步提高了评估效率。

关键设计：在任务可迁移性估计阶段，论文使用上下文学习（ICL）来估计任务之间的可迁移性。具体来说，对于每对任务(A, B)，论文使用任务A的几个示例作为上下文来提示LLM完成任务B，并根据LLM在任务B上的性能来估计任务A到任务B的可迁移性。可迁移性得分越高，表示任务A越能代表任务B。在任务选择阶段，论文使用设施选址函数来选择最具代表性的任务子集。设施选址函数的目标是最大化被选择任务的覆盖范围，同时最小化选择的任务数量。具体来说，论文使用贪心算法来求解设施选址问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BenTo方法可以将MMLU或FLAN等基准测试任务减少到5%，同时仅对原始基准的评估产生小于4%的差异。与现有方法相比，BenTo方法无需训练额外的模型或计算梯度，具有更高的效率和更低的计算成本。例如，在MMLU基准测试上，BenTo方法可以将任务数量从57个减少到3个，同时保持评估结果的准确性。

🎯 应用场景

该研究成果可应用于大语言模型的快速评估和基准测试任务的优化。通过减少评估所需的任务数量，可以显著降低评估成本，加速模型迭代和优化过程。此外，该方法还可以用于构建更高效、更具代表性的基准测试集，从而更好地评估LLM的真实能力。

📄 摘要（原文）

Evaluating large language models (LLMs) is costly: it requires the generation and examination of LLM outputs on a large-scale benchmark of various tasks. This paper investigates how to efficiently reduce the tasks used to benchmark LLMs without affecting the evaluation quality. Our study reveals that task transferability and relevance provide critical information to identify the most representative subset of tasks via optimizing a facility location function. We propose a practically efficient metric for estimating the transferability between two tasks via in-context learning (ICL). By analyzing the pairwise transferability, we can reduce tasks in a modern LLM benchmark (e.g., MMLU or FLAN) to 5% while inducing only a <4% difference to the evaluation on the original benchmark. Compared to prior works, our method is training-free, gradient-free, and highly efficient requiring ICL only.