Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation

📄 arXiv: 2609.11115v1 📥 PDF

作者: Koutian Wu, Junjie Zhou, Ergan Shang, Jiayu Wang, Pengqian Han, Junkai Wang, Wanghan Xu

分类: cs.AI, cs.IR

发布日期: 2026-09-10

备注: Project site: https://benchmark-radar.org/ Code: https://github.com/ktwu01/benchmark-radar

💡 一句话要点

提出Benchmark Radar以解决AI基准评估检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基准评估 动态数据库 搜索引擎 大型语言模型 数据集检索 AI研究 信息整合

📋 核心要点

  1. 现有的AI基准评估方法缺乏集中化的检索工具，研究者难以找到相关数据集和评估信息。
  2. Benchmark Radar通过整合多个数据源，提供一个可搜索的基准目录，帮助用户快速找到所需的评估和数据。
  3. 该系统包含1283个源记录和12916个数值观察，能够有效支持基准的设计与比较，提升了研究的效率。

📝 摘要（中文）

Benchmark Radar是一个动态数据库和搜索引擎，旨在帮助大型语言模型（LLMs）及其他AI系统的研究者和开发者找到相关评估、基准数据集和代码，并理解报告分数背后的设置。该系统结合了基准论文、代码库、数据集和发布的每日发现，提供可搜索的基准目录、模型卡和技术报告中的提及以及分数历史。数据库涵盖了LLM评估、工具使用基准、编码、推理、安全性和特定领域评估，支持用户进行全面的先前艺术搜索，并提供可下载的证据和命令行接口。该系统的建立为AI基准的检索和发现提供了重要支持。

🔬 方法详解

问题定义：现有的AI基准评估方法缺乏集中化的检索工具，研究者和开发者在寻找相关评估、数据集和代码时面临困难，导致信息获取效率低下。

核心思路：Benchmark Radar通过构建一个动态数据库和搜索引擎，整合来自多个来源的基准评估信息，提供用户友好的检索体验，帮助研究者快速找到所需的评估和数据集。

技术框架：系统架构包括每日发现模块、可搜索的基准目录、模型卡和技术报告的提及、分数历史记录等。数据来源于37个渠道，包括13个直接连接和24个第一方研究与工程源。

关键创新：Benchmark Radar的创新之处在于其动态更新和综合检索能力，能够实时获取最新的基准评估信息，并保留源身份和引用，便于用户验证评估证据。

关键设计：系统设计中，数据集成和检索模块是核心，采用了高效的索引和查询机制，确保用户能够快速访问到相关的评估记录和数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Benchmark Radar的实验结果显示，系统整合了1283个源记录和12916个数值观察，显著提升了基准评估的检索效率。用户能够通过该平台进行全面的先前艺术搜索，快速获取评估证据，提升了研究的便捷性和准确性。

🎯 应用场景

Benchmark Radar在AI研究和开发领域具有广泛的应用潜力，尤其是在大型语言模型和其他AI系统的评估中。通过提供集中化的基准检索工具，研究者能够更高效地设计和比较评估，推动AI技术的进步和应用。同时，该系统的开放性和可扩展性也为未来的研究提供了良好的基础。

📄 摘要（原文）

Benchmark researchers and developers of large language models (LLMs) and other AI systems need to find relevant evaluations, locate their benchmark datasets and code, and understand the settings behind reported scores. We present Benchmark Radar, a living database and search engine for retrieval and discovery of AI benchmarks, covering LLM evaluation, agentic and tool-use benchmarks, coding, reasoning, safety, and domain-specific evaluations. The system combines daily discovery of benchmark papers, repositories, datasets, and releases with a searchable benchmark catalog, mentions in model cards and technical reports, and score histories. It retains source identities and citations so readers can inspect candidate benchmarks and their evaluation evidence. Daily discovery draws on 37 sources: 13 direct connectors and 24 first-party research and engineering feeds. The catalog contains 1,283 source records drawn from 4 benchmark catalogs and 12,916 numeric observations on 790 records. We describe collection and retrieval, audit the full catalog, and examine benchmark saturation, adoption trends, and the limits of score comparisons. A worked example walks through a complete prior-art search, showing how to query the catalog and inspect benchmark evidence when designing a new evaluation. We release the web dashboard with a benchmark leaderboard, a Pareto frontier view of score against measured use, saturation and trend views, daily feeds, downloadable evidence, a command-line interface (CLI) for offline queries, and reproducible analysis.