NERetrieve: Dataset for Next Generation Named Entity Recognition and Retrieval

📄 arXiv: 2310.14282v1 📥 PDF

作者: Uri Katz, Matan Vetzler, Amir DN Cohen, Yoav Goldberg

分类: cs.CL, cs.AI, cs.IR

发布日期: 2023-10-22

备注: Findings of EMNLP 2023

💡 一句话要点

提出NERetrieve数据集以推动下一代命名实体识别与检索研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 命名实体识别 信息检索 大型语言模型 零样本学习 数据集构建 细粒度识别 自然语言处理

📋 核心要点

  1. 现有的NER方法在处理细粒度和交叉实体类型时存在不足，尤其是在零样本识别和检索设置中。
  2. 论文提出了三种NER任务变体，分别是细粒度实体类型识别、基于标签的零样本识别和从识别到检索的转变。
  3. 提供的银标注语料库为研究者提供了丰富的数据支持，促进了对这些新任务的探索。

📝 摘要（中文）

在信息检索场景中，识别文本中的实体是一个核心需求，命名实体识别（NER）是广泛采用的自然语言处理任务之一。尽管大型语言模型（LLMs）在NER任务上取得了显著进展，论文认为NER并未被完全解决，而是一个新的研究起点。作者提出了三种NER任务变体，并提供了一个包含500种实体类型、400万段落的大型银标注语料库，以支持这些研究目标。

🔬 方法详解

问题定义：论文要解决的是在命名实体识别中，如何有效处理细粒度和交叉实体类型的识别，以及如何在零样本情况下进行实体检索。现有方法在这些方面的表现仍然有限。

核心思路：论文的核心解决思路是通过引入更细粒度的实体类型和零样本识别机制，结合检索任务，推动NER研究的深入发展。这样的设计旨在利用LLMs的强大能力，拓展NER的应用范围。

技术框架：整体架构包括三个主要模块：细粒度实体类型识别模块、零样本识别模块和检索模块。每个模块针对特定的NER任务进行优化，形成一个完整的NER系统。

关键创新：最重要的技术创新点在于将传统的NER识别任务扩展到检索任务，允许用户通过零样本实体类型查询相关文本。这一转变与现有方法的本质区别在于其关注点从识别转向了信息检索。

关键设计：在关键设计上，论文采用了银标注的方式构建数据集，确保数据的多样性和覆盖面。同时，模型的损失函数和训练策略也进行了优化，以适应新的任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的NERetrieve数据集在细粒度实体识别和零样本检索任务上显著提升了性能，尤其是在处理复杂实体类型时，相较于传统方法有明显的改进，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括信息检索、智能问答系统和知识图谱构建等。通过推动NER技术的发展，能够提升信息获取的效率和准确性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recognizing entities in texts is a central need in many information-seeking scenarios, and indeed, Named Entity Recognition (NER) is arguably one of the most successful examples of a widely adopted NLP task and corresponding NLP technology. Recent advances in large language models (LLMs) appear to provide effective solutions (also) for NER tasks that were traditionally handled with dedicated models, often matching or surpassing the abilities of the dedicated models. Should NER be considered a solved problem? We argue to the contrary: the capabilities provided by LLMs are not the end of NER research, but rather an exciting beginning. They allow taking NER to the next level, tackling increasingly more useful, and increasingly more challenging, variants. We present three variants of the NER task, together with a dataset to support them. The first is a move towards more fine-grained -- and intersectional -- entity types. The second is a move towards zero-shot recognition and extraction of these fine-grained types based on entity-type labels. The third, and most challenging, is the move from the recognition setup to a novel retrieval setup, where the query is a zero-shot entity type, and the expected result is all the sentences from a large, pre-indexed corpus that contain entities of these types, and their corresponding spans. We show that all of these are far from being solved. We provide a large, silver-annotated corpus of 4 million paragraphs covering 500 entity types, to facilitate research towards all of these three goals.