CLLMFS: A Contrastive Learning enhanced Large Language Model Framework for Few-Shot Named Entity Recognition

📄 arXiv: 2408.12834v1 📥 PDF

作者: Yafeng Zhang, Zilan Yu, Yuang Huang, Jing Tang

分类: cs.CL, cs.AI

发布日期: 2024-08-23

备注: 27TH EUROPEAN CONFERENCE ON ARTIFICIAL INTELLIGENCE

💡 一句话要点

提出CLLMFS框架，利用对比学习增强大语言模型在少样本NER任务上的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本学习 命名实体识别 对比学习 大语言模型 低秩适应 自然语言处理 跨领域学习

📋 核心要点

  1. 现有少样本NER方法在跨领域时鲁棒性不足，主要原因是预训练模型知识有限，难以适应不同领域的实体识别。
  2. CLLMFS框架通过对比学习增强大语言模型的内部表示，并结合LoRA进行微调，从而提升模型对实体边界的感知和识别能力。
  3. 实验结果表明，CLLMFS在多个NER基准数据集上取得了显著的性能提升，并在跨领域NER任务中表现出良好的泛化能力。

📝 摘要（中文）

本文提出了一种对比学习增强的大语言模型框架CLLMFS，用于解决少样本命名实体识别（NER）问题。该问题旨在仅利用少量标注数据识别命名实体，在自然语言处理中日益重要。现有方法虽然通过prompting或度量学习等方式丰富标签语义，但由于预训练模型缺乏丰富的知识，其性能在不同领域表现出有限的鲁棒性。CLLMFS通过集成低秩适应（LoRA）和对比学习机制，专门为少样本NER定制，增强模型内部表示，有效提高实体边界感知能力和实体识别准确率。在多个基准数据集上，该方法相比现有最佳方法，F1-score取得了2.58%到97.74%的显著提升。跨领域NER实验进一步验证了该方法的鲁棒泛化能力。代码将在近期开源。

🔬 方法详解

问题定义：论文旨在解决少样本命名实体识别（NER）问题。现有方法，如基于Prompting或度量学习的方法，在预训练模型知识不足的情况下，跨领域泛化能力较差，难以在不同领域保持高性能。

核心思路：论文的核心思路是通过对比学习增强大语言模型的内部表示，使其能够更好地区分不同实体类型，并提高对实体边界的感知能力。结合LoRA，在少量数据上高效微调大模型，提升下游任务性能。

技术框架：CLLMFS框架主要包含以下几个部分：首先，使用大语言模型对输入文本进行编码。然后，利用LoRA对大语言模型进行参数高效微调。同时，引入对比学习机制，通过构造正负样本对，优化模型的内部表示，增强其区分不同实体类型的能力。最后，使用微调后的模型进行实体识别。

关键创新：该方法最重要的创新点在于将对比学习与LoRA相结合，用于增强大语言模型在少样本NER任务上的性能。对比学习能够有效提升模型内部表示的质量，使其更好地区分不同实体类型，而LoRA则能够在少量数据上高效微调大模型，避免过拟合。

关键设计：对比学习部分，论文设计了合适的正负样本构造策略，例如将同一实体类型的不同实例作为正样本，将不同实体类型的实例作为负样本。损失函数采用InfoNCE loss，鼓励模型拉近正样本之间的距离，推远负样本之间的距离。LoRA部分，选择合适的秩（rank）进行低秩分解，以平衡模型性能和计算效率。

📊 实验亮点

CLLMFS在多个NER基准数据集上取得了显著的性能提升。例如，在某个数据集上，F1-score提升了高达97.74%，在其他数据集上也有2.58%以上的提升。这些结果表明，CLLMFS能够有效利用少量标注数据，提升大语言模型在少样本NER任务上的性能，并具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于多种场景，例如：快速构建特定领域的NER系统，无需大量标注数据；提升低资源语言的NER性能；增强现有NER系统在跨领域应用时的鲁棒性。未来，该方法有望扩展到其他自然语言处理任务，如关系抽取、事件抽取等，具有广阔的应用前景。

📄 摘要（原文）

Few-shot Named Entity Recognition (NER), the task of identifying named entities with only a limited amount of labeled data, has gained increasing significance in natural language processing. While existing methodologies have shown some effectiveness, such as enriching label semantics through various prompting modes or employing metric learning techniques, their performance exhibits limited robustness across diverse domains due to the lack of rich knowledge in their pre-trained models. To address this issue, we propose CLLMFS, a Contrastive Learning enhanced Large Language Model (LLM) Framework for Few-Shot Named Entity Recognition, achieving promising results with limited training data. Considering the impact of LLM's internal representations on downstream tasks, CLLMFS integrates Low-Rank Adaptation (LoRA) and contrastive learning mechanisms specifically tailored for few-shot NER. By enhancing the model's internal representations, CLLMFS effectively improves both entity boundary awareness ability and entity recognition accuracy. Our method has achieved state-of-the-art performance improvements on F1-score ranging from 2.58\% to 97.74\% over existing best-performing methods across several recognized benchmarks. Furthermore, through cross-domain NER experiments conducted on multiple datasets, we have further validated the robust generalization capability of our method. Our code will be released in the near future.