Benchmark^2: Systematic Evaluation of LLM Benchmarks

📄 arXiv: 2601.03986v1 📥 PDF

作者: Qi Qian, Chengsong Huang, Jingwen Xu, Changze Lv, Muling Wu, Wenhao Liu, Xiaohua Wang, Zhenghua Wang, Zisu Huang, Muzhao Tian, Jianhan Xu, Kun Hu, He-Da Wang, Yao Hu, Xuanjing Huang, Xiaoqing Zheng

分类: cs.CL

发布日期: 2026-01-07

💡 一句话要点

Benchmark^2框架：系统评估LLM基准测试质量，提升评估效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 基准测试 质量评估 排名一致性 区分度 能力对齐 模型评估 LLM

📋 核心要点

  1. 现有LLM评估基准数量激增，但缺乏系统性的方法来评估这些基准本身的质量。
  2. Benchmark^2框架通过跨基准排名一致性、区分度得分和能力对齐偏差三个指标综合评估基准质量。
  3. 实验表明现有基准质量差异显著，基于Benchmark^2选择的基准子集能以更少样本实现可比的评估效果。

📝 摘要（中文）

针对大型语言模型（LLM）评估基准的快速增长，本文提出了Benchmark^2，一个用于系统评估基准质量的综合框架。该框架包含三个互补的指标：（1）跨基准排名一致性，衡量一个基准产生的模型排名是否与其他基准对齐；（2）区分度得分，量化一个基准区分不同模型的能力；（3）能力对齐偏差，识别同一模型家族中较强模型失败但较弱模型成功的异常情况。我们在涵盖数学、推理和知识领域的15个基准上进行了广泛的实验，评估了四个模型家族的11个LLM。分析表明，现有基准的质量存在显著差异，并且基于我们的指标进行选择性基准构建，可以用显著减少的测试集实现可比的评估性能。

🔬 方法详解

问题定义：现有的大语言模型（LLM）评估基准数量众多，但缺乏对这些基准本身质量的系统性评估方法。这意味着我们无法确定哪些基准能够可靠地评估LLM的真实能力，也难以判断不同基准之间的评估结果是否一致。现有方法缺乏对基准区分模型能力、排名一致性以及潜在偏差的量化分析，导致评估结果可能存在偏差或误导。

核心思路：Benchmark^2的核心思路是通过三个互补的指标来量化评估基准的质量：跨基准排名一致性（Cross-Benchmark Ranking Consistency）衡量基准与其他基准的排名一致性；区分度得分（Discriminability Score）衡量基准区分不同模型的能力；能力对齐偏差（Capability Alignment Deviation）衡量基准在同一模型家族中是否存在能力错位现象。通过这三个指标，可以全面评估基准的可靠性和有效性。

技术框架：Benchmark^2框架主要包含以下几个阶段：1) 数据收集：收集多个LLM在不同基准上的评估结果。2) 指标计算：计算每个基准的跨基准排名一致性、区分度得分和能力对齐偏差。3) 质量评估：基于计算得到的指标，对基准的质量进行评估和排序。4) 基准选择：根据评估结果，选择高质量的基准子集进行模型评估。

关键创新：Benchmark^2的关键创新在于提出了三个互补的指标，能够从不同角度量化评估基准的质量。与现有方法相比，Benchmark^2不仅考虑了基准的区分能力，还考虑了基准之间的排名一致性和潜在的能力偏差，从而更全面地评估基准的可靠性。此外，Benchmark^2还提供了一种基于指标选择高质量基准子集的方法，可以有效减少评估成本。

关键设计：跨基准排名一致性使用Kendall's Tau相关系数来衡量不同基准之间的排名一致性。区分度得分使用模型性能的方差来衡量基准区分不同模型的能力。能力对齐偏差通过比较同一模型家族中不同规模模型的性能来检测能力错位现象。框架没有特别依赖特定的损失函数或网络结构，而是侧重于对现有基准的评估和选择。

📊 实验亮点

实验结果表明，现有基准的质量存在显著差异。例如，某些基准的区分度得分较低，无法有效区分不同模型。通过基于Benchmark^2选择高质量的基准子集，可以用显著减少的测试集（例如减少50%）实现与使用所有基准相当甚至更好的评估性能。这表明Benchmark^2能够有效提升LLM评估的效率和可靠性。

🎯 应用场景

Benchmark^2可应用于LLM的系统性评估与选择，帮助研究人员和开发者选择更可靠的基准来评估模型性能。通过减少冗余和低质量的基准，可以降低评估成本，加速LLM的开发和部署。此外，该框架还可用于指导新基准的设计，提升基准的质量和可靠性。

📄 摘要（原文）

The rapid proliferation of benchmarks for evaluating large language models (LLMs) has created an urgent need for systematic methods to assess benchmark quality itself. We propose Benchmark^2, a comprehensive framework comprising three complementary metrics: (1) Cross-Benchmark Ranking Consistency, measuring whether a benchmark produces model rankings aligned with peer benchmarks; (2) Discriminability Score, quantifying a benchmark's ability to differentiate between models; and (3) Capability Alignment Deviation, identifying problematic instances where stronger models fail but weaker models succeed within the same model family. We conduct extensive experiments across 15 benchmarks spanning mathematics, reasoning, and knowledge domains, evaluating 11 LLMs across four model families. Our analysis reveals significant quality variations among existing benchmarks and demonstrates that selective benchmark construction based on our metrics can achieve comparable evaluation performance with substantially reduced test sets.