Schema Inference for Tabular Data Repositories Using Large Language Models

📄 arXiv: 2509.04632v1 📥 PDF

作者: Zhenyu Wu, Jiaoyan Chen, Norman W. Paton

分类: cs.DB, cs.AI

发布日期: 2025-09-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出SI-LLM，利用大语言模型为表格数据仓库推断模式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模式推断 表格数据 大型语言模型 知识图谱 数据集成

📋 核心要点

  1. 现有表格数据仓库的模式推断方法在元数据稀疏的情况下表现不佳，难以有效利用。
  2. SI-LLM利用大语言模型，仅通过列标题和单元格值推断表格数据的概念模式，无需过多人工干预。
  3. 在Web表格和开放数据集上的实验表明，SI-LLM在端到端模式推断任务中取得了优异的性能，优于现有方法。

📝 摘要（中文）

最简化的表格数据通常包含跨异构源的表示不一致性，并且伴随稀疏的元数据，这使得处理此类数据非常困难。虽然先前的工作已经推进了数据集的发现和探索，但当元数据有限时，模式推断仍然很困难。我们提出了SI-LLM（使用大型语言模型的模式推断），它仅使用列标题和单元格值来推断表格数据的简洁概念模式。推断的模式包括分层实体类型、属性和类型间的关系。在对来自Web表格和开放数据的两个数据集进行的大量评估中，SI-LLM实现了有希望的端到端结果，并且在每个步骤都获得了比最先进方法更好或相当的结果。SI-LLM的所有源代码、完整提示和数据集都可以在https://github.com/PierreWoL/SILLM找到。

🔬 方法详解

问题定义：论文旨在解决表格数据仓库中模式推断的问题，特别是在元数据信息非常有限的情况下。现有的方法通常依赖于丰富的元数据或者需要大量的人工干预，这在实际应用中往往难以满足。因此，如何仅利用表格数据本身的信息（如列标题和单元格值）来自动推断出高质量的模式是一个重要的挑战。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语义理解和推理能力，将表格数据转换为自然语言描述，然后通过LLM来推断出表格数据的概念模式。这种方法的核心在于将结构化的表格数据转化为非结构化的自然语言，从而能够利用LLM的知识和推理能力。

技术框架：SI-LLM的整体框架包含以下几个主要阶段：1) 数据预处理：对表格数据进行清洗和格式化。2) 提示构建：根据列标题和单元格值，构建用于输入到LLM的提示。3) LLM推理：使用LLM对提示进行推理，生成候选的实体类型、属性和关系。4) 模式构建：根据LLM的输出，构建最终的表格数据模式。

关键创新：该方法最重要的创新点在于利用大型语言模型进行模式推断，从而避免了对大量元数据的依赖。与传统的基于规则或统计的方法相比，SI-LLM能够更好地理解表格数据的语义信息，并生成更准确和完整的模式。此外，该方法还能够处理异构数据源，并自动发现实体类型之间的关系。

关键设计：在提示构建方面，论文设计了特定的提示模板，以引导LLM生成所需的模式信息。例如，提示中会包含表格的列标题和部分单元格值，并要求LLM根据这些信息推断出实体类型、属性和关系。此外，论文还探索了不同的LLM模型和参数设置，以优化模式推断的性能。在模式构建阶段，论文采用了一些后处理技术，例如实体类型合并和关系消歧，以提高模式的质量。

📊 实验亮点

SI-LLM在Web表格和开放数据集上进行了广泛的评估，实验结果表明，SI-LLM在端到端模式推断任务中取得了优异的性能，并且在每个步骤都获得了比最先进方法更好或相当的结果。具体性能数据未知，但论文强调了其在不同数据集上的泛化能力。

🎯 应用场景

SI-LLM可应用于数据集成、数据治理、知识图谱构建等领域。通过自动推断表格数据的模式，可以降低数据处理的成本，提高数据利用率。该研究对于构建智能数据平台、提升数据分析效率具有重要意义，并有望推动数据驱动的决策。

📄 摘要（原文）

Minimally curated tabular data often contain representational inconsistencies across heterogeneous sources, and are accompanied by sparse metadata. Working with such data is intimidating. While prior work has advanced dataset discovery and exploration, schema inference remains difficult when metadata are limited. We present SI-LLM (Schema Inference using Large Language Models), which infers a concise conceptual schema for tabular data using only column headers and cell values. The inferred schema comprises hierarchical entity types, attributes, and inter-type relationships. In extensive evaluation on two datasets from web tables and open data, SI-LLM achieves promising end-to-end results, as well as better or comparable results to state-of-the-art methods at each step. All source code, full prompts, and datasets of SI-LLM are available at https://github.com/PierreWoL/SILLM.