DW-Bench: Benchmarking LLMs on Data Warehouse Graph Topology Reasoning

📄 arXiv: 2604.18964v1 📥 PDF

作者: Ahmed G. A. H Ahmed, C. Okan Sakar

分类: cs.AI, cs.DB

发布日期: 2026-04-21

备注: 24 pages, 6 figures. Datasets and evaluation code available at GitHub

💡 一句话要点

DW-Bench：用于评估LLM在数据仓库图拓扑推理能力的新基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据仓库 图拓扑推理 大型语言模型 基准测试 外键关系

📋 核心要点

  1. 现有LLM在数据仓库环境下的图拓扑推理能力不足，缺乏专门的评估基准。
  2. DW-Bench通过整合外键和数据沿袭信息，构建了更贴近实际数据仓库场景的图推理任务。
  3. 实验结果表明，工具增强型LLM方法优于静态方法，但在复杂推理场景下仍有提升空间。

📝 摘要（中文）

本文提出了DW-Bench，一个新的基准，用于评估大型语言模型（LLMs）在数据仓库模式上的图拓扑推理能力，显式地整合了外键（FK）和数据沿袭边。该基准包含1046个自动生成且可验证正确的问答对，涵盖五个模式。实验表明，工具增强的方法显著优于静态方法，但在困难的组合子类型上表现停滞。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在数据仓库模式上的图拓扑推理能力评估问题。现有方法缺乏一个专门的基准来衡量LLMs在理解和利用数据仓库模式中的外键关系和数据沿袭信息进行推理的能力，这限制了LLMs在数据管理和分析领域的应用。

核心思路：论文的核心思路是构建一个包含大量自动生成且可验证正确的问题的基准数据集，该数据集显式地整合了外键（FK）和数据沿袭边，从而能够更全面地评估LLMs在数据仓库环境下的图拓扑推理能力。通过分析LLMs在不同类型问题上的表现，可以深入了解其优势和局限性。

技术框架：DW-Bench基准的构建流程主要包括以下几个阶段：1) 定义数据仓库模式：选择或设计具有代表性的数据仓库模式，包括表、列、外键关系和数据沿袭关系。2) 问题生成：根据预定义的模板和规则，自动生成一系列关于数据仓库模式的推理问题。这些问题涵盖不同的推理类型，例如查找相关表、确定数据来源等。3) 答案验证：设计算法或规则，自动验证生成的问题的答案的正确性。4) 数据集构建：将生成的问题和答案整理成数据集，并进行分类和标注。

关键创新：DW-Bench的关键创新在于：1) 显式地整合了外键（FK）和数据沿袭边，更贴近实际数据仓库场景。2) 采用自动生成问题的方式，保证了数据集的规模和多样性。3) 提供了可验证正确的答案，方便评估LLMs的推理准确性。

关键设计：DW-Bench包含五个不同的数据仓库模式，涵盖了不同规模和复杂度的场景。问题生成过程采用了多种模板和规则，以确保问题类型的多样性。答案验证过程使用了基于SQL查询和图算法的方法，以保证答案的准确性。具体参数设置和网络结构未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，工具增强的方法（tool-augmented methods）在DW-Bench上显著优于静态方法（static approaches），这说明利用外部工具可以有效提升LLM在图拓扑推理方面的能力。然而，在困难的组合子类型（hard compositional subtypes）上，所有方法的性能都出现了停滞，表明LLM在处理复杂推理问题时仍面临挑战。

🎯 应用场景

该研究成果可应用于评估和提升LLM在数据管理、数据分析和知识图谱等领域的应用能力。通过DW-Bench，可以更好地了解LLM在处理复杂数据关系和进行推理方面的能力，从而推动LLM在企业级数据应用中的落地。未来，可以基于DW-Bench开发更强大的数据驱动的LLM应用。

📄 摘要（原文）

This paper introduces DW-Bench, a new benchmark that evaluates large language models (LLMs) on graph-topology reasoning over data warehouse schemas, explicitly integrating both foreign-key (FK) and data-lineage edges. The benchmark comprises 1,046 automatically generated, verifiably correct questions across five schemas. Experiments show that tool-augmented methods substantially outperform static approaches but plateau on hard compositional subtypes.