Schema Inference for Tabular Data Repositories Using Large Language Models

📄 arXiv: 2509.04632v1 📥 PDF

作者: Zhenyu Wu, Jiaoyan Chen, Norman W. Paton

分类: cs.DB, cs.AI

发布日期: 2025-09-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出SI-LLM，利用大语言模型为表格数据仓库推断模式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 模式推断 大语言模型 数据集成 知识图谱

📋 核心要点

  1. 现有表格数据仓库的模式推断方法在元数据稀疏的情况下表现不佳，难以处理异构数据源。
  2. SI-LLM利用大语言模型，仅通过列标题和单元格值推断表格数据的概念模式，包括实体类型、属性和关系。
  3. 在Web表格和开放数据集上的实验表明，SI-LLM在端到端模式推断任务中取得了有竞争力的结果。

📝 摘要（中文）

最简化的表格数据通常包含跨异构源的表示不一致性，并且伴随稀疏的元数据，这使得处理此类数据非常困难。虽然先前的工作已经推进了数据集的发现和探索，但当元数据有限时，模式推断仍然很困难。我们提出了SI-LLM（使用大型语言模型的模式推断），它仅使用列标题和单元格值来推断表格数据的简洁概念模式。推断的模式包括分层实体类型、属性和类型间的关系。在对来自Web表格和开放数据的两个数据集进行的大量评估中，SI-LLM实现了有希望的端到端结果，并且在每个步骤都获得了比最先进方法更好或相当的结果。SI-LLM的所有源代码、完整提示和数据集都可以在https://github.com/PierreWoL/SILLM上找到。

🔬 方法详解

问题定义：论文旨在解决表格数据仓库中模式推断的问题，尤其是在元数据信息匮乏的情况下。现有方法在处理来自异构数据源的表格数据时，由于缺乏足够的元数据支持，难以准确推断出数据的概念模式，导致数据理解和利用的困难。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语义理解和推理能力，直接从表格数据的列标题和单元格值中提取信息，推断出数据的概念模式。这种方法避免了对大量元数据的依赖，能够更好地适应实际应用中元数据稀疏的情况。

技术框架：SI-LLM的整体框架主要包含以下几个阶段：1) 数据预处理：对表格数据进行清洗和格式化；2) LLM提示构建：根据列标题和单元格值，构建合适的LLM输入提示；3) LLM推理：利用LLM对提示进行推理，生成候选的实体类型、属性和关系；4) 模式构建：根据LLM的输出，构建最终的概念模式。

关键创新：该方法最重要的创新点在于将大型语言模型应用于表格数据的模式推断任务。与传统方法相比，SI-LLM能够利用LLM的语义理解能力，从有限的信息中推断出更准确、更丰富的概念模式。此外，SI-LLM无需人工标注大量数据，降低了模式推断的成本。

关键设计：SI-LLM的关键设计包括：1) 精心设计的LLM提示模板，用于引导LLM进行模式推断；2) 使用了特定的LLM模型，例如GPT-3或类似的模型，以获得更好的推理效果；3) 采用后处理步骤，对LLM的输出进行过滤和修正，以提高模式的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SI-LLM在Web表格和开放数据集上进行了广泛的评估，实验结果表明，SI-LLM在端到端模式推断任务中取得了有竞争力的结果，并且在某些步骤中优于或可与最先进的方法相媲美。这些结果验证了SI-LLM利用大型语言模型进行模式推断的有效性。

🎯 应用场景

该研究成果可应用于数据集成、数据治理、知识图谱构建等领域。通过自动推断表格数据的模式，可以降低数据处理的成本，提高数据利用效率，并为用户提供更友好的数据访问方式。未来，该技术有望应用于更广泛的数据分析和挖掘任务中。

📄 摘要（原文）

Minimally curated tabular data often contain representational inconsistencies across heterogeneous sources, and are accompanied by sparse metadata. Working with such data is intimidating. While prior work has advanced dataset discovery and exploration, schema inference remains difficult when metadata are limited. We present SI-LLM (Schema Inference using Large Language Models), which infers a concise conceptual schema for tabular data using only column headers and cell values. The inferred schema comprises hierarchical entity types, attributes, and inter-type relationships. In extensive evaluation on two datasets from web tables and open data, SI-LLM achieves promising end-to-end results, as well as better or comparable results to state-of-the-art methods at each step. All source code, full prompts, and datasets of SI-LLM are available at https://github.com/PierreWoL/SILLM.