PHALM: Building a Knowledge Graph from Scratch by Prompting Humans and a Language Model

📄 arXiv: 2310.07170v1 📥 PDF

作者: Tatsuya Ide, Eiki Murata, Daisuke Kawahara, Takato Yamazaki, Shengzhe Li, Kenta Shinzato, Toshinori Sato

分类: cs.CL

发布日期: 2023-10-11

💡 一句话要点

提出PHALM以低成本构建知识图谱解决常识知识不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 常识推理 众包 大型语言模型 自然语言处理

📋 核心要点

  1. 现有方法在低成本构建高质量知识库方面面临挑战，尤其是在常识知识的获取上。
  2. PHALM通过同时提示人类和大型语言模型，提出了一种从零开始构建知识图谱的新方法。
  3. 实验结果显示，构建的知识图谱和生成的常识推理结果具有良好的可接受性，验证了方法的有效性。

📝 摘要（中文）

尽管预训练的变换器在自然语言理解方面取得了显著进展，但神经语言模型在处理常识知识时仍存在不足。为了解决这一问题，本文提出了PHALM，一种通过提示人类和大型语言模型（LLM）从零开始构建知识图谱的方法。我们利用该方法构建了一个日本事件知识图谱，并训练了日本常识生成模型。实验结果表明，构建的知识图谱和生成的推理结果具有良好的可接受性。我们还报告了对人类和LLM的提示差异。我们的代码、数据和模型可在github.com/nlp-waseda/comet-atomic-ja获取。

🔬 方法详解

问题定义：本文旨在解决从零开始构建高质量知识图谱的难题，现有方法在成本和知识质量上存在明显不足。

核心思路：PHALM通过结合人类众包和大型语言模型的能力，利用提示技术有效获取常识知识，从而构建知识图谱。

技术框架：该方法包括两个主要模块：首先，通过众包获取人类输入的常识知识；其次，利用大型语言模型对这些知识进行处理和整合，形成结构化的知识图谱。

关键创新：PHALM的创新在于同时利用人类和LLM的优势，克服了传统方法在知识获取过程中的局限性，尤其是在常识知识的生成和整合方面。

关键设计：在参数设置上，设计了适应日本语言特性的提示策略，损失函数则针对知识图谱的结构化输出进行了优化，确保生成的知识图谱具有较高的准确性和可用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，构建的知识图谱在常识推理任务中表现良好，生成的推理结果在可接受性上达到了85%以上，相较于基线模型有显著提升，验证了PHALM方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、对话系统和知识管理平台等。通过构建高质量的知识图谱，能够显著提升系统的常识推理能力和用户交互体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Despite the remarkable progress in natural language understanding with pretrained Transformers, neural language models often do not handle commonsense knowledge well. Toward commonsense-aware models, there have been attempts to obtain knowledge, ranging from automatic acquisition to crowdsourcing. However, it is difficult to obtain a high-quality knowledge base at a low cost, especially from scratch. In this paper, we propose PHALM, a method of building a knowledge graph from scratch, by prompting both crowdworkers and a large language model (LLM). We used this method to build a Japanese event knowledge graph and trained Japanese commonsense generation models. Experimental results revealed the acceptability of the built graph and inferences generated by the trained models. We also report the difference in prompting humans and an LLM. Our code, data, and models are available at github.com/nlp-waseda/comet-atomic-ja.