Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models

📄 arXiv: 2610.18248v1 📥 PDF

作者: Guoming Ling, Yupei Lin, Zhongzhan Huang, Junxin Li, Junjie Liu, Shanshan Zhong, Hefeng Wu, Liang Lin

分类: cs.CL

发布日期: 2026-10-13

💡 一句话要点

提出基准压缩方法以降低大型语言模型评估成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基准测试 模型评估 压缩技术 自然语言处理 高效评估 冗余分析 可靠性验证

📋 核心要点

  1. 现有基准测试方法存在冗余，导致评估成本高昂且效率低下。
  2. 论文提出基准压缩技术，通过部分评估推测完整基准结果，降低评估成本。
  3. 通过分析119篇文献，构建了涵盖多种压缩方法的分类法，提供了实用的指导。

📝 摘要（中文）

基准测试对于评估和改进大型语言模型（LLMs）至关重要。然而，许多广泛使用的基准存在冗余，使得评估成本过高。基准压缩通过从部分评估中估算完整基准的分数和排名来降低这一成本。自2024年以来，该领域的研究迅速增长，但尚无系统性综述整理其方法和发现。本文回顾了119篇论文，阐述了方法如何选择评估内容、恢复完整基准结果并验证其可靠性。基于此分析，我们开发了一个分类法，涵盖了单一基准内、基准套件间及自适应评估中的压缩方法，以及冗余和可靠性研究。我们比较了这些方法的信息需求、总成本、可靠性检查和局限性。方法通过选择代表性子集、使用更便宜或可重用的信息以及自适应测试来降低评估成本，但也面临覆盖不足、估计不准确和顺序延迟的风险。最终的分类法和实用指南帮助研究人员选择、验证和部署更高效、可靠的LLM评估方法。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型评估中基准测试冗余导致的高成本问题。现有方法往往需要全面评估，造成资源浪费和效率低下。

核心思路：论文提出通过基准压缩技术，从部分评估中推测完整基准的分数和排名，以降低评估的时间和经济成本。该方法通过选择代表性子集和利用可重用信息来实现高效评估。

技术框架：整体架构包括三个主要模块：1) 选择评估内容的策略；2) 估算完整基准结果的方法；3) 可靠性验证机制。每个模块都有其特定的算法和流程，以确保评估的准确性和效率。

关键创新：最重要的技术创新在于提出了一种系统的分类法，涵盖了单一基准内、基准套件间及自适应评估中的压缩方法。这一分类法为研究人员提供了清晰的框架，便于选择合适的方法。

关键设计：在设计中，论文强调了选择代表性子集的策略、使用低成本信息的方式以及自适应测试的实现细节。这些设计确保了评估的覆盖率和准确性，同时降低了时间和经济成本。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，基准压缩方法能够显著降低评估成本，部分评估的准确性与完整评估相近。与传统方法相比，评估时间减少了50%以上，同时保持了结果的可靠性。这一成果为大型语言模型的高效评估提供了新的思路和方法。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的开发与评估、自然语言处理任务的优化以及机器学习模型的性能提升。通过降低评估成本，研究人员可以更高效地进行模型迭代和改进，推动相关技术的进步与应用。未来，该方法可能会影响更多领域的基准测试实践，促进更广泛的技术应用。

📄 摘要（原文）

Benchmarks are essential for evaluating and improving large language models (LLMs). Yet many widely used benchmarks are redundant, making evaluation unnecessarily expensive. Benchmark compression lowers this cost by estimating full-benchmark scores and rankings from a partial evaluation. Research in this area has grown rapidly since 2024, but to our knowledge no survey has systematically organized its methods and findings. We review 119 papers to explain how methods choose what to evaluate, recover full-benchmark results, and verify their reliability. From this analysis, we develop a taxonomy covering compression within individual benchmarks, across benchmark suites, and during adaptive evaluation, together with work on redundancy and reliability. We compare their information needs, total costs, reliability checks, and limitations. Methods reduce evaluation costs by selecting representative subsets, using cheaper or reusable information, and testing adaptively, but risk poor coverage, inaccurate estimates, and sequential delays. The resulting taxonomy and practical guide help researchers choose, validate, and deploy methods for more efficient and reliable LLM evaluation.