Revisiting Graph Analytics Benchmark

📄 arXiv: 2506.21811v2 📥 PDF

作者: Lingkai Meng, Yu Shao, Long Yuan, Longbin Lai, Peng Cheng, Xue Li, Wenyuan Yu, Wenjie Zhang, Xuemin Lin, Jingren Zhou

分类: cs.DB, cs.GR

发布日期: 2025-03-04 (更新: 2026-01-04)

💡 一句话要点

提出一种新的图分析基准测试，包含核心算法、数据生成和API可用性评估。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图分析 基准测试 性能评估 数据生成 API可用性 大型语言模型 图算法

📋 核心要点

  1. 现有图分析基准测试在核心算法选择、数据生成和API可用性评估方面存在局限性，无法充分评估平台性能。
  2. 设计了一种新的图分析基准测试，通过选择核心算法、设计高效数据生成器和引入基于LLM的API可用性评估框架来解决现有问题。
  3. 在多个现有图分析平台上进行了实验评估，结果表明提出的基准测试具有优越性，能够更全面地评估平台性能。

📝 摘要（中文）

图分析平台的兴起催生了各种用于评估和比较平台性能的基准测试。然而，由于核心算法选择、数据生成过程（以及相应的合成数据集）的局限性，以及忽略了API可用性评估，现有的基准测试通常无法充分评估性能。为了解决这些缺点，我们提出了一种新的图分析基准测试。首先，我们通过广泛回顾学术界和工业界，选择了八个核心算法。其次，我们设计了一个高效且灵活的数据生成器，并生成了八个新的合成数据集作为我们基准测试的默认数据集。最后，我们引入了一个基于多层大型语言模型（LLM）的API可用性评估框架——这是图分析基准测试中的首创。我们对现有平台（GraphX、PowerGraph、Flash、Grape、Pregel+、Ligra 和 G-thinker）进行了全面的实验评估。实验结果证明了我们提出的基准测试的优越性。

🔬 方法详解

问题定义：现有图分析基准测试无法全面评估平台性能，主要痛点在于：核心算法选择不具代表性，数据生成方法不够灵活高效，缺乏对API可用性的评估。这导致了评估结果与实际应用场景存在偏差，难以指导图分析平台的优化和选择。

核心思路：论文的核心思路是构建一个更全面、更贴近实际应用的图分析基准测试。通过精心选择核心算法、设计灵活高效的数据生成器以及引入基于LLM的API可用性评估框架，弥补现有基准测试的不足，从而更准确地评估图分析平台的性能。

技术框架：该基准测试框架主要包含三个模块：1) 核心算法选择模块：通过调研学术界和工业界，选择最具代表性的八个图分析算法。2) 数据生成模块：设计一个高效且灵活的数据生成器，可以生成多种类型的合成图数据集，并提供默认的八个数据集。3) API可用性评估模块：引入一个基于多层大型语言模型（LLM）的框架，用于评估图分析平台API的易用性和友好性。

关键创新：该基准测试的关键创新在于：1) 算法选择更具代表性，覆盖了更广泛的应用场景。2) 数据生成器更加灵活高效，可以生成多种类型的图数据。3) 首次引入基于LLM的API可用性评估，弥补了现有基准测试的空白。

关键设计：在数据生成模块中，设计了多种参数用于控制生成图的结构特征，例如节点数量、边数量、度分布等。在API可用性评估模块中，使用了多层LLM框架，第一层用于理解用户意图，第二层用于生成代码，第三层用于评估代码质量和执行结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该基准测试能够更全面地评估现有图分析平台的性能。例如，在API可用性评估方面，该基准测试能够有效区分不同平台的易用性差异。通过对GraphX、PowerGraph、Flash、Grape、Pregel+、Ligra 和 G-thinker等平台的测试，验证了该基准测试的有效性和优越性。

🎯 应用场景

该研究成果可应用于图分析平台的性能评估和优化，帮助用户选择合适的平台，并指导平台开发者改进其设计。此外，该基准测试还可以用于评估新的图分析算法和技术，推动图分析领域的发展。该基准测试的API可用性评估方法，也可以推广到其他软件系统的评估中。

📄 摘要（原文）

The rise of graph analytics platforms has led to the development of various benchmarks for evaluating and comparing platform performance. However, existing benchmarks often fall short of fully assessing performance due to limitations in core algorithm selection, data generation processes (and the corresponding synthetic datasets), as well as the neglect of API usability evaluation. To address these shortcomings, we propose a novel graph analytics benchmark. First, we select eight core algorithms by extensively reviewing both academic and industrial settings. Second, we design an efficient and flexible data generator and produce eight new synthetic datasets as the default datasets for our benchmark. Lastly, we introduce a multi-level large language model (LLM)-based framework for API usability evaluation-the first of its kind in graph analytics benchmarks. We conduct comprehensive experimental evaluations on existing platforms (GraphX, PowerGraph, Flash, Grape, Pregel+, Ligra and G-thinker). The experimental results demonstrate the superiority of our proposed benchmark.