Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs

📄 arXiv: 2602.11674v1 📥 PDF

作者: Longyuan Zhu, Hairan Hua, Linlin Miao, Bing Zhao

分类: cs.AI

发布日期: 2026-02-12

备注: 42 pages, 8 figures, 7 tables. Code and website available at https://github.com/SKYLENAGE-AI/benchmark-health-index

💡 一句话要点

提出基准健康指数BHI，用于系统性评估和管理LLM基准的可靠性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 基准测试 评估框架 健康指数 能力区分

📋 核心要点

  1. 现有LLM基准测试面临分数膨胀和选择性报告问题，导致评估结果的可靠性下降。
  2. 提出基准健康指数（BHI），通过能力区分、抗饱和度和影响三个维度评估基准的健康状况。
  3. 通过分析大量基准测试数据，BHI能够系统性地量化评估格局，为基准选择和管理提供依据。

📝 摘要（中文）

大型语言模型（LLM）发展迅速，但用于衡量其进展的基准测试正变得越来越不可靠。分数膨胀和选择性报告削弱了标准基准的权威性，使得研究社区不确定哪些评估结果仍然值得信赖。我们引入了基准健康指数（BHI），这是一个纯粹数据驱动的框架，用于沿着三个正交且互补的轴审计评估集：（1）能力区分，衡量基准测试在多大程度上将模型性能区分开来；（2）抗饱和度，估计在天花板效应侵蚀分辨率之前的剩余空间，从而估计基准测试的预期寿命；（3）影响，通过采用广度和实践塑造能力来量化学术和工业生态系统中的影响。通过从2025年91个代表性模型的106份验证过的基准测试技术报告中提取数据，我们系统地描述了评估格局。BHI是第一个在宏观层面量化基准健康状况的框架，为基准选择提供了原则性基础，并为下一代评估协议实现了动态生命周期管理。

🔬 方法详解

问题定义：当前大型语言模型（LLM）的基准测试面临着可靠性问题，具体表现为分数膨胀和选择性报告。这些问题导致研究人员难以判断哪些基准测试结果是可信的，从而阻碍了LLM的健康发展。现有的基准测试缺乏一个系统性的评估框架，无法有效地量化基准测试的质量和适用性。

核心思路：论文的核心思路是提出一个名为“基准健康指数”（Benchmark Health Index, BHI）的框架，该框架通过纯数据驱动的方式，从三个维度评估基准测试的健康状况：能力区分（Capability Discrimination）、抗饱和度（Anti-Saturation）和影响（Impact）。通过量化这些指标，BHI能够帮助研究人员选择更可靠的基准测试，并动态管理基准测试的生命周期。

技术框架：BHI框架包含以下几个主要阶段：1) 数据收集：从大量的技术报告中提取基准测试数据；2) 指标计算：计算每个基准测试的能力区分、抗饱和度和影响三个指标；3) 健康评估：根据计算出的指标，评估基准测试的整体健康状况；4) 基准管理：根据评估结果，选择合适的基准测试，并动态调整基准测试的生命周期。

关键创新：BHI的关键创新在于它提供了一个系统性的、数据驱动的框架，用于量化基准测试的健康状况。与现有方法相比，BHI不仅考虑了基准测试的性能区分能力，还考虑了基准测试的饱和度和影响力，从而更全面地评估了基准测试的质量。此外，BHI还提出了动态生命周期管理的概念，可以根据基准测试的健康状况，及时更新或替换基准测试。

关键设计：能力区分通过统计模型性能的区分度来衡量，抗饱和度通过评估基准测试的剩余空间来估计，影响通过分析基准测试在学术界和工业界的使用情况来量化。具体的计算方法和参数设置在论文中有详细描述，但此处不便展开。

📊 实验亮点

该研究通过分析2025年91个代表性模型的106份技术报告，验证了BHI框架的有效性。实验结果表明，BHI能够有效地量化基准测试的健康状况，并为基准测试的选择和管理提供依据。具体性能数据和对比基线在论文中有详细描述。

🎯 应用场景

BHI可应用于LLM的评估和选择，帮助研究人员和开发者选择更可靠的基准测试，从而更准确地评估模型性能。此外，BHI还可用于动态管理基准测试的生命周期，及时更新或替换过时的基准测试，促进LLM评估体系的健康发展。该研究对LLM领域的模型评估和基准测试具有重要指导意义。

📄 摘要（原文）

Large Language Models (LLMs) are advancing rapidly, yet the benchmarks used to measure this progress are becoming increasingly unreliable. Score inflation and selective reporting have eroded the authority of standard benchmarks, leaving the community uncertain about which evaluation results remain trustworthy. We introduce the Benchmark Health Index (BHI), a pure data-driven framework for auditing evaluation sets along three orthogonal and complementary axes: (1) Capability Discrimination, measuring how sharply a benchmark separates model performance beyond noise; (2) Anti-Saturation, estimating remaining headroom before ceiling effects erode resolution and thus the benchmark's expected longevity; and (3) Impact, quantifying influence across academic and industrial ecosystems via adoption breadth and practice-shaping power. By distilling 106 validated benchmarks from the technical reports of 91 representative models in 2025, we systematically characterize the evaluation landscape. BHI is the first framework to quantify benchmark health at a macro level, providing a principled basis for benchmark selection and enabling dynamic lifecycle management for next-generation evaluation protocols.