Taxonomy Inference for Tabular Data Using Large Language Models

📄 arXiv: 2503.21810v1 📥 PDF

作者: Zhenyu Wu, Jiaoyan Chen, Norman W. Paton

分类: cs.DB, cs.AI, cs.CL, cs.IR

发布日期: 2025-03-25

💡 一句话要点

提出基于大型语言模型的表格数据分类推断方法EmTT和GeTT，提升数据管理和知识发现能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 分类推断 大型语言模型 对比学习 迭代提示

📋 核心要点

  1. 现有表格数据分类推断方法依赖词汇和结构相似性，忽略了表格中文本的深层语义信息。
  2. 论文提出EmTT和GeTT两种方法，分别利用encoder-alone和decoder-alone LLM进行表格数据分类推断。
  3. 实验表明，EmTT和GeTT在多个真实数据集上表现出与人工标注高度一致的分类推断能力。

📝 摘要（中文）

表格数据的分类推断是模式推断的关键任务，旨在发现表格中的实体类型（即概念）并构建其层次结构。它在数据管理、数据探索、本体学习和许多以数据为中心的应用程序中发挥着重要作用。现有的模式推断系统更多地关注XML、JSON或RDF数据，并且通常依赖于数据的词汇格式和结构来计算相似性，对表格中文本的语义利用有限。受最近使用大型语言模型（LLM）进行分类补全和构建工作的启发，本文提出了两种基于LLM的表格分类推断方法：（i）EmTT，它通过使用对比学习微调像BERT这样的encoder-alone LLM来嵌入列，并利用聚类进行层次结构构建；（ii）GeTT，它通过使用像GPT-4这样的decoder-alone LLM进行迭代提示来生成表格实体类型及其层次结构。在三个真实世界数据集上进行的广泛评估，使用了涵盖输出分类不同方面的六个指标，证明了EmTT和GeTT都可以生成与Ground Truth具有很强一致性的分类。

🔬 方法详解

问题定义：论文旨在解决表格数据的分类推断问题，即自动发现表格中实体类型并构建其层次结构。现有方法主要依赖于数据的词汇格式和结构，忽略了表格中文本的语义信息，导致分类推断的准确性受限。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的语义理解和生成能力，直接从表格数据中推断实体类型及其层次结构。EmTT通过对比学习微调LLM来嵌入表格列，GeTT则通过迭代提示LLM来生成实体类型和层次结构。

技术框架：EmTT包含列嵌入和层次结构构建两个阶段。列嵌入阶段使用对比学习微调BERT等encoder-alone LLM，将表格列转换为向量表示。层次结构构建阶段使用聚类算法对列向量进行聚类，并根据聚类结果构建层次结构。GeTT则通过迭代提示GPT-4等decoder-alone LLM，逐步生成表格实体类型及其层次结构。每次提示都基于之前的生成结果，逐步完善分类体系。

关键创新：论文的关键创新在于将大型语言模型应用于表格数据分类推断任务，并提出了两种不同的方法：EmTT和GeTT。EmTT利用对比学习进行列嵌入，GeTT则利用迭代提示进行类型生成。这两种方法都能够有效利用LLM的语义理解和生成能力，从而提高分类推断的准确性。

关键设计：EmTT的关键设计包括对比学习的损失函数和聚类算法的选择。对比学习的损失函数旨在使相似列的向量表示更接近，不相似列的向量表示更远离。GeTT的关键设计包括提示语的设计和迭代次数的设置。提示语需要包含足够的信息，以便LLM能够生成准确的实体类型和层次结构。迭代次数需要根据数据集的复杂程度进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EmTT和GeTT在三个真实世界数据集上都取得了良好的效果。与现有的基于词汇和结构相似性的方法相比，EmTT和GeTT能够生成与人工标注具有更高一致性的分类体系。具体而言，在某些指标上，EmTT和GeTT的性能提升超过10%。

🎯 应用场景

该研究成果可应用于数据管理、数据探索、本体学习等领域。例如，可以自动为表格数据生成分类体系，方便用户理解和查询数据；可以用于构建知识图谱，将表格数据中的实体类型和关系整合到知识库中；还可以用于数据集成，将不同来源的表格数据进行统一分类。

📄 摘要（原文）

Taxonomy inference for tabular data is a critical task of schema inference, aiming at discovering entity types (i.e., concepts) of the tables and building their hierarchy. It can play an important role in data management, data exploration, ontology learning, and many data-centric applications. Existing schema inference systems focus more on XML, JSON or RDF data, and often rely on lexical formats and structures of the data for calculating similarities, with limited exploitation of the semantics of the text across a table. Motivated by recent works on taxonomy completion and construction using Large Language Models (LLMs), this paper presents two LLM-based methods for taxonomy inference for tables: (i) EmTT which embeds columns by fine-tuning with contrastive learning encoder-alone LLMs like BERT and utilises clustering for hierarchy construction, and (ii) GeTT which generates table entity types and their hierarchy by iterative prompting using a decoder-alone LLM like GPT-4. Extensive evaluation on three real-world datasets with six metrics covering different aspects of the output taxonomies has demonstrated that EmTT and GeTT can both produce taxonomies with strong consistency relative to the Ground Truth.