Entity Matching using Large Language Models

📄 arXiv: 2310.11244v4 📥 PDF

作者: Ralph Peeters, Aaron Steiner, Christian Bizer

分类: cs.CL, cs.LG

发布日期: 2023-10-17 (更新: 2024-10-18)

备注: Published in Proceedings of the 28th International Conference on Extending Database Technology (EDBT), 25th March-28th March, 2025, ISBN 978-3-89318-098-1 on OpenProceedings.org

💡 一句话要点

利用大型语言模型进行实体匹配以解决数据集成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实体匹配 大型语言模型 数据集成 预训练模型 鲁棒性 生成模型

📋 核心要点

  1. 现有的实体匹配方法依赖于预训练语言模型，存在对特定任务训练数据需求高和鲁棒性差的问题。
  2. 本文提出利用生成性大型语言模型作为替代方案，减少对任务特定训练数据的依赖，并提高模型的鲁棒性。
  3. 实验结果显示，最佳的LLMs在仅需少量训练示例的情况下，能够与微调后的PLMs表现相当，并且在未见实体上更具鲁棒性。

📝 摘要（中文）

实体匹配是判断两个实体描述是否指向同一现实世界实体的任务，是数据集成管道中的核心步骤。现有的许多先进实体匹配方法依赖于预训练语言模型（PLMs），如BERT或RoBERTa，但这些模型存在对任务特定训练数据需求高和对分布外实体鲁棒性差的缺陷。本文探讨了使用生成性大型语言模型（LLMs）作为一种对训练数据依赖性较低且更具鲁棒性的替代方案。研究涵盖了可托管和开源的LLMs，并在零样本和有任务特定训练数据的场景中进行了评估。实验结果表明，最佳LLMs在仅需少量训练示例的情况下，能够与使用数千个示例进行微调的PLMs表现相当，并且在面对未见实体时表现出更高的鲁棒性。

🔬 方法详解

问题定义：实体匹配任务旨在判断两个实体描述是否指向同一实体。现有的PLMs在此任务中存在对大量特定训练数据的依赖，以及对分布外实体的鲁棒性不足的问题。

核心思路：本文提出使用生成性大型语言模型（LLMs）作为一种替代方案，旨在减少对任务特定训练数据的需求，并提高模型在面对未见实体时的鲁棒性。

技术框架：研究涵盖了托管和开源的LLMs，评估了在零样本和有任务特定训练数据的场景下的表现。主要模块包括提示设计、上下文示例选择、匹配规则生成和LLMs的微调。

关键创新：最重要的创新在于使用LLMs进行实体匹配，展示了其在少量训练示例下的有效性和对未见实体的高鲁棒性，与传统PLMs相比具有显著优势。

关键设计：在实验中，提示设计的敏感性被重点研究，发现没有单一最佳提示，而是需要针对每个模型和数据集组合进行调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，最佳的LLMs在仅需少量训练示例的情况下，能够与使用数千个示例进行微调的PLMs表现相当。此外，LLM基于的匹配器在面对未见实体时展现出更高的鲁棒性，GPT4能够生成匹配决策的结构化解释，并自动识别匹配错误的潜在原因。

🎯 应用场景

该研究的潜在应用领域包括数据集成、信息检索和知识图谱构建等。通过提高实体匹配的准确性和鲁棒性，能够显著提升数据工程师在处理复杂数据集时的效率和效果，推动相关领域的发展。

📄 摘要（原文）

Entity matching is the task of deciding whether two entity descriptions refer to the same real-world entity. Entity matching is a central step in most data integration pipelines. Many state-of-the-art entity matching methods rely on pre-trained language models (PLMs) such as BERT or RoBERTa. Two major drawbacks of these models for entity matching are that (i) the models require significant amounts of task-specific training data and (ii) the fine-tuned models are not robust concerning out-of-distribution entities. This paper investigates using generative large language models (LLMs) as a less task-specific training data-dependent and more robust alternative to PLM-based matchers. The study covers hosted and open-source LLMs which can be run locally. We evaluate these models in a zero-shot scenario and a scenario where task-specific training data is available. We compare different prompt designs and the prompt sensitivity of the models. We show that there is no single best prompt but that the prompt needs to be tuned for each model/dataset combination. We further investigate (i) the selection of in-context demonstrations, (ii) the generation of matching rules, as well as (iii) fine-tuning LLMs using the same pool of training data. Our experiments show that the best LLMs require no or only a few training examples to perform comparably to PLMs that were fine-tuned using thousands of examples. LLM-based matchers further exhibit higher robustness to unseen entities. We show that GPT4 can generate structured explanations for matching decisions and can automatically identify potential causes of matching errors by analyzing explanations of wrong decisions. We demonstrate that the model can generate meaningful textual descriptions of the identified error classes, which can help data engineers to improve entity matching pipelines.