Knowledge Acquisition on Mass-shooting Events via LLMs for AI-Driven Justice
作者: Benign John Ihugba, Afsana Nasrin, Ling Wu, Lin Li, Lijun Qian, Xishuang Dong
分类: cs.CY, cs.AI, cs.CL
发布日期: 2025-04-17
💡 一句话要点
利用大型语言模型进行大规模枪击事件知识获取，助力AI驱动的司法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大规模枪击事件 知识获取 命名实体识别 大型语言模型 少量样本学习
📋 核心要点
- 现有方法难以有效从大规模枪击事件产生的大量非结构化文本数据中提取关键信息，阻碍了调查和政策制定。
- 该研究利用大型语言模型（LLM）和少量样本提示，自动识别罪犯、受害者、地点和犯罪工具等关键实体。
- 实验表明，GPT-4o在识别大规模枪击事件相关实体方面表现最佳，o1-mini则为资源受限场景提供了一种高效替代方案。
📝 摘要（中文）
大规模枪击事件对公共安全构成重大挑战，产生大量非结构化文本数据，阻碍了有效的调查和公共政策的制定。尽管情况紧急，但很少有研究能够有效地自动提取这些事件的关键信息，以支持法律和调查工作。本文提出了首个旨在通过命名实体识别（NER）技术进行大规模枪击事件知识获取的数据集。该数据集专注于识别关键实体，如罪犯、受害者、地点和犯罪工具，这些实体对于法律和调查目的至关重要。NER过程由大型语言模型（LLM）通过少量样本提示驱动，从而能够从新闻文章、警方报告和社交媒体等各种来源高效地提取和组织关键信息。在真实大规模枪击事件语料库上的实验结果表明，GPT-4o是用于大规模枪击事件NER的最有效模型，实现了最高的微平均精确率、微平均召回率和微平均F1分数。同时，o1-mini提供了具有竞争力的性能，使其成为不太复杂的NER任务的资源高效替代方案。研究还观察到，增加样本数量可以提高所有模型的性能，但GPT-4o和o1-mini的增益更为显著，突显了它们对少量样本学习场景的卓越适应性。
🔬 方法详解
问题定义：论文旨在解决从大规模枪击事件相关的大量非结构化文本数据中自动提取关键信息的问题。现有方法通常依赖人工标注或传统的机器学习方法，效率低下且泛化能力有限，难以适应不同来源和格式的数据。因此，如何高效、准确地从这些数据中提取关键实体（如罪犯、受害者、地点、犯罪工具等）是亟待解决的问题。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语言理解和生成能力，通过少量样本提示（few-shot prompting）的方式，指导LLM进行命名实体识别（NER）任务。这种方法避免了大量标注数据的需求，能够快速适应新的数据集和实体类型。通过精心设计的提示语，引导LLM理解任务目标，并生成符合要求的实体标注结果。
技术框架：整体框架包括数据收集与预处理、少量样本提示设计、LLM推理和结果评估四个主要阶段。首先，从新闻文章、警方报告和社交媒体等来源收集大规模枪击事件相关的文本数据，并进行清洗和格式化。然后，设计包含少量标注样本的提示语，用于指导LLM进行NER任务。接下来，将提示语和文本数据输入LLM，进行实体识别和标注。最后，使用标准NER评估指标（如精确率、召回率和F1分数）评估LLM的性能。
关键创新：该研究的关键创新在于将大型语言模型应用于大规模枪击事件的知识获取，并采用少量样本提示的方式进行命名实体识别。与传统的监督学习方法相比，这种方法大大减少了对标注数据的需求，提高了模型的泛化能力和适应性。此外，该研究还构建了一个专门针对大规模枪击事件的NER数据集，为后续研究提供了基准和资源。
关键设计：在少量样本提示的设计方面，论文可能采用了不同的提示策略，例如，提供不同类型的实体示例，或者使用不同的提示语模板。此外，论文可能还探索了不同的LLM模型，并比较了它们在NER任务上的性能。在评估指标方面，论文采用了微平均精确率、微平均召回率和微平均F1分数，以综合评估模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT-4o在识别大规模枪击事件相关实体方面表现最佳，实现了最高的微平均精确率、微平均召回率和微平均F1分数。同时，o1-mini在资源受限的情况下也表现出具有竞争力的性能。研究还发现，增加少量样本的数量可以提高所有模型的性能，特别是GPT-4o和o1-mini，表明它们具有较强的少量样本学习能力。
🎯 应用场景
该研究成果可应用于多个领域，包括：辅助执法部门进行快速调查，通过自动提取关键信息，加速案件分析和嫌疑人追踪；为政策制定者提供数据支持，分析大规模枪击事件的模式和趋势，制定更有效的预防措施；提升公众安全意识，通过信息可视化和知识图谱，帮助公众更好地了解大规模枪击事件的风险和应对方法。未来，该技术可扩展到其他类型的突发事件和犯罪行为的知识获取。
📄 摘要（原文）
Mass-shooting events pose a significant challenge to public safety, generating large volumes of unstructured textual data that hinder effective investigations and the formulation of public policy. Despite the urgency, few prior studies have effectively automated the extraction of key information from these events to support legal and investigative efforts. This paper presented the first dataset designed for knowledge acquisition on mass-shooting events through the application of named entity recognition (NER) techniques. It focuses on identifying key entities such as offenders, victims, locations, and criminal instruments, that are vital for legal and investigative purposes. The NER process is powered by Large Language Models (LLMs) using few-shot prompting, facilitating the efficient extraction and organization of critical information from diverse sources, including news articles, police reports, and social media. Experimental results on real-world mass-shooting corpora demonstrate that GPT-4o is the most effective model for mass-shooting NER, achieving the highest Micro Precision, Micro Recall, and Micro F1-scores. Meanwhile, o1-mini delivers competitive performance, making it a resource-efficient alternative for less complex NER tasks. It is also observed that increasing the shot count enhances the performance of all models, but the gains are more substantial for GPT-4o and o1-mini, highlighting their superior adaptability to few-shot learning scenarios.