Entity Extraction from High-Level Corruption Schemes via Large Language Models

📄 arXiv: 2409.13704v2 📥 PDF

作者: Panagiotis Koletsis, Panagiotis-Konstantinos Gemos, Christos Chronis, Iraklis Varlamis, Vasilis Efthymiou, Georgios Th. Papadopoulos

分类: cs.CL, cs.IR

发布日期: 2024-09-05 (更新: 2024-11-11)

💡 一句话要点

提出基于大语言模型的金融犯罪实体抽取方法与微基准数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融犯罪 实体抽取 大语言模型 提示工程 数据集 实体消歧 自然语言处理

📋 核心要点

  1. 金融犯罪领域缺乏高质量数据集，限制了相关算法和模型的发展与评估。
  2. 利用大语言模型，结合提示工程和消歧方法，提升金融犯罪实体识别的准确性。
  3. 实验结果表明，该方法优于现有开源基线，为金融犯罪实体识别提供新思路。

📝 摘要（中文）

近年来，金融犯罪日益猖獗，引起了人们越来越多的关注，各界都在积极应对。然而，专门用于训练和评估金融犯罪问题相关算法和模型的数据集却十分匮乏。本文提出了一个新的微基准数据集，用于识别新闻文章中涉及金融犯罪的个人和组织及其相关信息，并提出了一种辅助数据集创建的方法。此外，本文还报告了使用该数据集，利用参数量较小的LLM识别金融犯罪相关文章中个人和组织的实验结果。实验采用了标准指标（准确率、精确率、召回率、F1分数），并测试了各种符合提示工程最佳实践的prompt变体。为了解决实体提及的歧义性问题，本文还提出了一种简单而有效的基于LLM的消歧方法，确保评估结果与实际情况相符。最后，将提出的方法与广泛使用的最先进的开源基线方法进行了比较，结果表明本文提出的方法更具优势。

🔬 方法详解

问题定义：论文旨在解决金融犯罪领域中实体识别数据集匮乏的问题，并提升现有方法在识别新闻文章中金融犯罪相关个人和组织方面的准确性。现有方法缺乏针对性数据集的训练，且在处理实体提及歧义性方面存在不足。

核心思路：论文的核心思路是利用大语言模型（LLM）的强大能力，结合提示工程（Prompt Engineering）和实体消歧技术，构建一个微基准数据集，并开发一种高效的实体识别方法。通过精心设计的prompt引导LLM进行实体抽取，并利用LLM进行实体消歧，从而提高识别的准确性和可靠性。

技术框架：整体框架包括以下几个主要阶段：1) 数据集构建：创建一个专门针对金融犯罪领域的微基准数据集，包含新闻文章和标注的实体信息。2) 实体抽取：使用LLM和不同的prompt变体，从新闻文章中抽取实体。3) 实体消歧：利用LLM对抽取的实体进行消歧，解决实体提及的歧义性问题。4) 评估：使用标准指标（准确率、精确率、召回率、F1分数）评估实体抽取的性能，并与基线方法进行比较。

关键创新：论文的关键创新在于：1) 提出了一个新的金融犯罪领域的微基准数据集，填补了该领域数据集的空白。2) 提出了一种基于LLM的实体消歧方法，有效解决了实体提及的歧义性问题。3) 结合提示工程，充分利用LLM的知识和推理能力，提高了实体抽取的准确性。

关键设计：论文的关键设计包括：1) 精心设计的prompt：针对不同的实体类型和任务，设计了不同的prompt变体，以引导LLM进行实体抽取。2) LLM-based消歧方法：利用LLM的上下文理解能力，判断实体提及的真实含义，并消除歧义。3) 实验设置：采用了多种LLM和不同的prompt变体，进行了充分的实验，并与基线方法进行了比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在金融犯罪实体识别任务上优于现有的开源基线方法。通过使用精心设计的prompt和LLM-based消歧方法，该方法能够更准确地识别新闻文章中的金融犯罪相关实体。具体的性能数据（准确率、精确率、召回率、F1分数）在论文中进行了详细报告。

🎯 应用场景

该研究成果可应用于金融风险管理、反洗钱、欺诈检测等领域。通过自动识别新闻报道中的金融犯罪相关实体，可以帮助金融机构和监管部门及时发现和预防金融犯罪行为，降低金融风险，维护金融稳定。未来，该方法可以扩展到其他类型的犯罪领域，为打击犯罪提供技术支持。

📄 摘要（原文）

The rise of financial crime that has been observed in recent years has created an increasing concern around the topic and many people, organizations and governments are more and more frequently trying to combat it. Despite the increase of interest in this area, there is a lack of specialized datasets that can be used to train and evaluate works that try to tackle those problems. This article proposes a new micro-benchmark dataset for algorithms and models that identify individuals and organizations, and their multiple writings, in news articles, and presents an approach that assists in its creation. Experimental efforts are also reported, using this dataset, to identify individuals and organizations in financial-crime-related articles using various low-billion parameter Large Language Models (LLMs). For these experiments, standard metrics (Accuracy, Precision, Recall, F1 Score) are reported and various prompt variants comprising the best practices of prompt engineering are tested. In addition, to address the problem of ambiguous entity mentions, a simple, yet effective LLM-based disambiguation method is proposed, ensuring that the evaluation aligns with reality. Finally, the proposed approach is compared against a widely used state-of-the-art open-source baseline, showing the superiority of the proposed method.