EVENT5Ws: A Large Dataset for Open-Domain Event Extraction from Documents

📄 arXiv: 2604.21890v1 📥 PDF

作者: Praval Sharma, Ashok Samal, Leen-Kiat Soh, Deepti Joshi

分类: cs.CL

发布日期: 2026-04-23

💡 一句话要点

提出EVENT5Ws：一个用于开放域文档事件抽取的超大型数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件抽取 开放域 数据集 人工标注 自然语言处理

📋 核心要点

  1. 现有事件抽取数据集在事件类型覆盖和开放领域数据规模上存在不足，限制了算法的泛化能力。
  2. 论文构建了大规模人工标注的开放域事件抽取数据集EVENT5Ws，并设计了系统的标注流程。
  3. 使用EVENT5Ws评估了现有大型语言模型，并验证了模型在不同地理环境数据集上的泛化能力。

📝 摘要（中文）

事件抽取旨在从文本中识别事件的关键要素，支持事件理解和分析，这对于紧急情况下的明智决策至关重要。因此，开发自动化的事件抽取方法是必要的。然而，现有算法开发数据集存在局限性，包括封闭领域中事件类型覆盖范围有限，以及开放领域中缺乏大型、人工验证的数据集。为了解决这些限制，我们创建了EVENT5Ws，这是一个大型、人工标注且经过统计验证的开放域事件抽取数据集。我们设计了一个系统的标注流程来创建数据集，并提供了关于标注复杂性的经验性见解。我们使用EVENT5Ws评估了最先进的预训练大型语言模型，并为未来的研究建立了基准。我们进一步表明，在EVENT5Ws上训练的模型可以有效地推广到来自不同地理背景的数据集，这证明了其开发通用算法的潜力。最后，我们总结了数据集开发过程中获得的经验教训，并为支持未来大规模数据集开发提供了建议。

🔬 方法详解

问题定义：论文旨在解决开放域事件抽取任务中缺乏大规模、高质量标注数据集的问题。现有数据集通常局限于特定领域或规模较小，难以训练出具有良好泛化能力的事件抽取模型。这阻碍了事件抽取技术在更广泛的应用场景中的发展。

核心思路：论文的核心思路是通过人工标注构建一个大规模的开放域事件抽取数据集EVENT5Ws。该数据集包含多种事件类型，并经过统计验证，以保证数据质量。通过在该数据集上训练模型，可以提高模型在开放域场景下的事件抽取性能和泛化能力。

技术框架：论文主要关注数据集的构建和评估，没有涉及复杂的模型架构。数据集构建流程包括：事件类型的定义、标注指南的制定、人工标注、质量控制和统计验证。论文使用构建的数据集评估了现有的预训练语言模型，并将其作为基准。

关键创新：该论文的关键创新在于构建了一个大规模、高质量的开放域事件抽取数据集EVENT5Ws。该数据集的规模和多样性超过了现有数据集，为开放域事件抽取研究提供了新的资源。此外，论文还提供了数据集构建过程中的经验教训和建议，为未来数据集构建提供了指导。

关键设计：数据集的标注指南详细定义了事件的类型和属性，并提供了清晰的标注示例。标注过程采用多人协同的方式，并进行质量控制，以保证标注的一致性和准确性。论文还对数据集进行了统计分析，验证了数据集的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建的EVENT5Ws数据集包含大量人工标注的开放域事件，并验证了其在不同地理数据集上的泛化能力。实验结果表明，在EVENT5Ws上训练的模型能够有效地推广到其他数据集，证明了该数据集的价值。论文还提供了数据集构建过程中的经验教训，为未来数据集构建提供了指导。

🎯 应用场景

该研究成果可应用于多个领域，例如：突发事件监测、舆情分析、新闻摘要、金融风险评估等。高质量的事件抽取能力能够帮助人们快速了解事件的关键信息，从而做出更明智的决策。未来，该数据集可以促进事件抽取技术的进一步发展，并推动其在更多实际场景中的应用。

📄 摘要（原文）

Event extraction identifies the central aspects of events from text. It supports event understanding and analysis, which is crucial for tasks such as informed decision-making in emergencies. Therefore, it is necessary to develop automated event extraction approaches. However, existing datasets for algorithm development have limitations, including limited coverage of event types in closed-domain settings and a lack of large, manually verified dataset in open-domain settings. To address these limitations, we create EVENT5Ws , a large, manually annotated, and statistically verified open-domain event extraction dataset. We design a systematic annotation pipeline to create the dataset and provide empirical insights into annotation complexity. Using EVENT5Ws, we evaluate state-of-the-art pre-trained large language models and establish a benchmark for future research. We further show that models trained on EVENT5Ws generalize effectively to datasets from different geographical contexts, which demonstrates its potential for developing generalizable algorithms. Finally, we summarize the lessons learned during the dataset development and provide recommendations to support future large-scale dataset development.