Entity Alignment with Noisy Annotations from Large Language Models

📄 arXiv: 2405.16806v2 📥 PDF

作者: Shengyuan Chen, Qinggang Zhang, Junnan Dong, Wen Hua, Qing Li, Xiao Huang

分类: cs.CL, cs.AI

发布日期: 2024-05-27 (更新: 2024-05-28)

期刊: NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLM4EA框架，利用大语言模型解决实体对齐中的噪声标注问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实体对齐 知识图谱 大型语言模型 主动学习 无监督学习 噪声标注 知识图谱融合

📋 核心要点

  1. 现有实体对齐方法依赖人工标注，成本高昂且难以扩展到大规模知识图谱。
  2. LLM4EA利用主动学习策略减少标注空间，并使用无监督标签提纯器提高标注质量。
  3. 实验表明，LLM4EA在多个数据集上表现出优越的性能，提升了实体对齐的有效性和效率。

📝 摘要（中文）

实体对齐（EA）旨在通过识别等价实体对来合并两个知识图谱（KGs）。现有方法严重依赖人工标注，但在实际场景中，聘请跨领域专家进行标注的成本高昂。大型语言模型（LLMs）的出现为自动化EA标注提供了新途径，这得益于它们处理语义信息的强大能力。然而，直接应用LLMs进行EA并非易事，因为真实KG中的标注空间巨大，且LLMs可能生成误导对齐的噪声标签。为此，我们提出了一个统一框架LLM4EA，以有效利用LLMs进行EA。具体而言，我们设计了一种新颖的主动学习策略，通过优先考虑基于整个KG间和KG内结构的最有价值的实体，来显著减少标注空间。此外，我们引入了一种无监督标签提纯器，通过深入的概率推理来持续提高标签准确性。我们基于基础EA模型的反馈迭代优化策略。大量实验证明了LLM4EA在有效性、鲁棒性和效率方面在四个基准数据集上的优势。

🔬 方法详解

问题定义：实体对齐旨在识别不同知识图谱中指向同一现实世界实体的节点。现有方法依赖于人工标注的实体对齐数据，但人工标注成本高昂，尤其是在领域知识要求高的场景下。直接使用大语言模型进行标注会引入噪声，影响对齐效果。

核心思路：LLM4EA的核心思路是利用大语言模型生成实体对齐的候选标签，并通过主动学习和无监督标签提纯来降低标注成本和提高标注质量。主动学习策略选择信息量最大的实体进行标注，减少了标注空间。无监督标签提纯则利用概率推理纠正LLM产生的噪声标签。

技术框架：LLM4EA框架包含三个主要模块：1) 基于LLM的标注模块，利用LLM生成初始的实体对齐标签；2) 主动学习模块，根据KG的结构信息选择最有价值的实体进行标注，减少标注空间；3) 无监督标签提纯模块，利用概率模型对LLM生成的标签进行纠正，提高标签质量。整个框架通过迭代优化，不断提高实体对齐的准确率。

关键创新：LLM4EA的关键创新在于结合了主动学习和无监督标签提纯，以有效利用LLM进行实体对齐。主动学习策略能够显著减少标注空间，而无监督标签提纯则能够有效降低LLM产生的噪声标签的影响。这种结合使得LLM4EA能够在低成本下实现高精度的实体对齐。

关键设计：主动学习策略基于KG的结构信息，例如节点的度、邻居节点的相似度等，来评估实体的信息量。无监督标签提纯模块使用概率图模型，对LLM生成的标签进行建模，并利用期望最大化算法进行参数估计和标签推断。损失函数包括对齐损失和标签一致性损失，用于优化实体嵌入和标签概率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM4EA在DBP-WD、DBP-YG、Wikidata-DBpedia和IMDB-TMDB四个基准数据集上均取得了显著的性能提升。例如，在DBP-WD数据集上，LLM4EA的Hits@1指标相比现有最佳方法提升了5%以上。此外，消融实验验证了主动学习和无监督标签提纯模块的有效性。实验还表明，LLM4EA具有较好的鲁棒性，能够有效应对LLM产生的噪声标签。

🎯 应用场景

LLM4EA可应用于知识图谱融合、数据集成、语义搜索等领域。通过自动化的实体对齐，可以整合来自不同来源的知识，构建更全面、更准确的知识图谱。这有助于提高信息检索的准确性，并为智能问答、推荐系统等应用提供更好的支持。未来，该方法有望扩展到跨语言知识图谱对齐等更复杂的场景。

📄 摘要（原文）

Entity alignment (EA) aims to merge two knowledge graphs (KGs) by identifying equivalent entity pairs. While existing methods heavily rely on human-generated labels, it is prohibitively expensive to incorporate cross-domain experts for annotation in real-world scenarios. The advent of Large Language Models (LLMs) presents new avenues for automating EA with annotations, inspired by their comprehensive capability to process semantic information. However, it is nontrivial to directly apply LLMs for EA since the annotation space in real-world KGs is large. LLMs could also generate noisy labels that may mislead the alignment. To this end, we propose a unified framework, LLM4EA, to effectively leverage LLMs for EA. Specifically, we design a novel active learning policy to significantly reduce the annotation space by prioritizing the most valuable entities based on the entire inter-KG and intra-KG structure. Moreover, we introduce an unsupervised label refiner to continuously enhance label accuracy through in-depth probabilistic reasoning. We iteratively optimize the policy based on the feedback from a base EA model. Extensive experiments demonstrate the advantages of LLM4EA on four benchmark datasets in terms of effectiveness, robustness, and efficiency. Codes are available via https://github.com/chensyCN/llm4ea_official.