Evaluating Named Entity Recognition Using Few-Shot Prompting with Large Language Models

📄 arXiv: 2408.15796v2 📥 PDF

作者: Hédi Zeghidi, Ludovic Moncla

分类: cs.IR, cs.AI

发布日期: 2024-08-28 (更新: 2024-09-04)

备注: Github repo: https://github.com/GEODE-project/ner-llm

💡 一句话要点

利用大语言模型和小样本提示提升命名实体识别性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 命名实体识别 小样本学习 大语言模型 提示工程 上下文学习

📋 核心要点

  1. 传统NER系统依赖大量标注数据，成本高昂且耗时，限制了其在数据稀缺场景的应用。
  2. 论文探索了利用大语言模型（LLM）的小样本提示学习能力，仅用少量示例即可实现NER。
  3. 实验表明，LLM在小样本NER任务中表现出潜力，尤其是在适应新实体类型和领域方面。

📝 摘要（中文）

本文评估了使用大语言模型进行小样本提示学习在命名实体识别（NER）中的应用。传统的NER系统依赖于大量的标注数据集，获取成本高且耗时。小样本提示或上下文学习使模型能够以最少的示例识别实体。我们评估了GPT-4等先进模型在NER任务中的小样本性能，并将其与完全监督的基准进行比较。结果表明，虽然存在性能差距，但大型模型在仅有少量数据的情况下，能够很好地适应新的实体类型和领域。我们还探讨了提示工程、引导输出格式和上下文长度对性能的影响。这项研究强调了小样本学习在减少对大型标注数据集的需求方面的潜力，从而增强了NER的可扩展性和可访问性。

🔬 方法详解

问题定义：论文旨在解决命名实体识别（NER）任务中，对大量标注数据依赖的问题。现有NER方法，如基于深度学习的序列标注模型，在训练时需要大量的标注数据，这在标注成本高昂或数据稀缺的场景下是不可行的。因此，如何利用少量样本实现高性能的NER是本文要解决的核心问题。

核心思路：论文的核心思路是利用大型语言模型（LLM）的上下文学习能力，通过小样本提示（Few-Shot Prompting）的方式，让LLM在仅提供少量示例的情况下，识别文本中的命名实体。这种方法避免了对模型进行微调，而是通过精心设计的提示，引导LLM生成符合要求的输出。

技术框架：该方法主要包含以下几个阶段：1) 提示构建：设计包含少量示例的提示，示例包括输入文本和对应的NER标注结果。2) 模型推理：将构建好的提示输入到大型语言模型中，让模型根据提示生成NER结果。3) 结果解析：解析模型生成的文本，提取出识别出的命名实体。整个过程无需对LLM进行任何训练或微调。

关键创新：该方法最重要的创新点在于利用了LLM的上下文学习能力，将NER任务转化为一个文本生成任务。与传统的NER方法相比，该方法不需要大量的标注数据，只需要少量示例即可实现高性能的NER。此外，该方法还可以方便地适应新的实体类型和领域，只需要修改提示中的示例即可。

关键设计：论文探讨了多种提示工程策略，包括示例的选择、提示的格式等。此外，论文还研究了上下文长度对性能的影响。具体来说，论文尝试了不同的示例数量、不同的示例顺序，以及不同的提示文本。同时，论文还探索了如何引导LLM生成结构化的输出，例如JSON格式，以便于后续处理。

📊 实验亮点

实验结果表明，虽然小样本提示的NER性能与完全监督的基准相比仍有差距，但大型语言模型在适应新实体类型和领域方面表现出色。通过优化提示工程，可以进一步提高小样本NER的性能。例如，精心设计的提示可以使GPT-4等模型在特定领域的NER任务中达到可接受的精度。

🎯 应用场景

该研究成果可应用于低资源语言的NER任务、特定领域的NER任务（如医疗、金融等），以及需要快速部署NER系统的场景。通过减少对大量标注数据的依赖，可以降低NER系统的开发成本，提高其可扩展性和可访问性。未来，该方法有望应用于更广泛的自然语言处理任务中。

📄 摘要（原文）

This paper evaluates Few-Shot Prompting with Large Language Models for Named Entity Recognition (NER). Traditional NER systems rely on extensive labeled datasets, which are costly and time-consuming to obtain. Few-Shot Prompting or in-context learning enables models to recognize entities with minimal examples. We assess state-of-the-art models like GPT-4 in NER tasks, comparing their few-shot performance to fully supervised benchmarks. Results show that while there is a performance gap, large models excel in adapting to new entity types and domains with very limited data. We also explore the effects of prompt engineering, guided output format and context length on performance. This study underscores Few-Shot Learning's potential to reduce the need for large labeled datasets, enhancing NER scalability and accessibility.