Revisiting Large Language Models as Zero-shot Relation Extractors

📄 arXiv: 2310.05028v4 📥 PDF

作者: Guozheng Li, Peng Wang, Wenjun Ke

分类: cs.AI, cs.CL

发布日期: 2023-10-08 (更新: 2023-11-24)

备注: Findings of EMNLP 2023

💡 一句话要点

提出SumAsk方法以提升零样本关系抽取性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关系抽取 零样本学习 大型语言模型 自然语言处理 信息抽取 知识图谱 提示学习

📋 核心要点

  1. 现有的关系抽取方法在零样本设置下仍需依赖一定量的数据，限制了其应用范围。
  2. 论文提出的SumAsk方法通过递归使用LLMs，将输入转化为问题回答格式，提升了零样本关系抽取的效果。
  3. 实验结果显示，SumAsk方法在不同模型和基准上均显著提升了性能，尤其在处理重叠关系时表现优异。

📝 摘要（中文）

关系抽取（RE）通常需要一定量的标注或未标注数据，即使在零样本设置下也不例外。近期研究表明，大型语言模型（LLMs）能够通过自然语言提示直接迁移到新任务，提供了在无需数据和参数调优的情况下从文本中提取关系的可能性。本研究聚焦于探索LLMs（如ChatGPT）作为零样本关系抽取器的能力。我们分析了现有RE提示的不足，并尝试结合最新的提示技术（如思维链）来改善零样本RE。我们提出了总结-提问（SumAsk）提示方法，通过递归使用LLMs将RE输入转化为有效的问题回答格式。实验结果表明，SumAsk在不同模型规模、基准和设置下均显著提升了LLMs的性能。

🔬 方法详解

问题定义：本论文旨在解决现有关系抽取方法在零样本设置下依赖数据的问题。现有方法在处理复杂关系时表现不佳，尤其是重叠关系和“无上述”关系（NoTA）。

核心思路：论文的核心思路是通过引入总结-提问（SumAsk）提示方法，利用LLMs的强大能力将输入转化为有效的问答格式，从而提高零样本关系抽取的准确性和效率。

技术框架：整体架构包括输入文本的处理、使用LLMs生成问题、以及对生成问题的回答。主要模块包括文本预处理、提示生成和结果评估。

关键创新：最重要的技术创新点在于提出了SumAsk方法，该方法通过递归使用LLMs来优化输入格式，与传统的提示方法相比，能够更有效地提取关系信息。

关键设计：在参数设置上，SumAsk方法通过调整提示的结构和内容，结合思维链技术，增强了模型对复杂关系的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SumAsk方法在不同模型规模和基准上均显著提升了性能，尤其在处理重叠关系时表现优异。与传统的零样本和完全监督方法相比，使用ChatGPT的零样本提示方法取得了竞争力或更优的结果，显示出LLMs在关系抽取任务中的潜力。

🎯 应用场景

该研究的潜在应用领域包括信息抽取、知识图谱构建和自然语言处理等。通过提升零样本关系抽取的性能，研究成果能够在缺乏标注数据的情况下，帮助企业和研究机构更高效地从文本中提取关键信息，具有重要的实际价值和未来影响。

📄 摘要（原文）

Relation extraction (RE) consistently involves a certain degree of labeled or unlabeled data even if under zero-shot setting. Recent studies have shown that large language models (LLMs) transfer well to new tasks out-of-the-box simply given a natural language prompt, which provides the possibility of extracting relations from text without any data and parameter tuning. This work focuses on the study of exploring LLMs, such as ChatGPT, as zero-shot relation extractors. On the one hand, we analyze the drawbacks of existing RE prompts and attempt to incorporate recent prompt techniques such as chain-of-thought (CoT) to improve zero-shot RE. We propose the summarize-and-ask (\textsc{SumAsk}) prompting, a simple prompt recursively using LLMs to transform RE inputs to the effective question answering (QA) format. On the other hand, we conduct comprehensive experiments on various benchmarks and settings to investigate the capabilities of LLMs on zero-shot RE. Specifically, we have the following findings: (i) \textsc{SumAsk} consistently and significantly improves LLMs performance on different model sizes, benchmarks and settings; (ii) Zero-shot prompting with ChatGPT achieves competitive or superior results compared with zero-shot and fully supervised methods; (iii) LLMs deliver promising performance in extracting overlapping relations; (iv) The performance varies greatly regarding different relations. Different from small language models, LLMs are effective in handling challenge none-of-the-above (NoTA) relation.