Cascading Large Language Models for Salient Event Graph Generation

📄 arXiv: 2406.18449v2 📥 PDF

作者: Xingwei Tan, Yuxiang Zhou, Gabriele Pergola, Yulan He

分类: cs.CL, cs.AI

发布日期: 2024-06-26 (更新: 2025-02-08)

备注: NAACL 2025 Camera-ready (9 + 14 pages)

💡 一句话要点

提出CALLMSAE框架，利用级联大语言模型生成文档的显著事件图，无需人工标注。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件图生成 大语言模型 显著事件 代码生成 迭代优化 远程监督 自然语言处理

📋 核心要点

  1. 现有事件图生成方法难以区分事件的重要性，忽略了对叙事理解至关重要的显著事件。
  2. CALLMSAE框架利用级联LLM，首先通过摘要识别显著事件，然后迭代优化代码生成事件关系图。
  3. 实验表明，CALLMSAE在生成显著且准确的事件图方面优于现有方法，并提出了大规模自动标注数据集NYT-SEG。

📝 摘要（中文）

由于事件检测、关系识别以及非结构化输入与结构化图的协调等多个任务的复杂性，从长文档中生成事件图是一项具有挑战性的任务。现有研究通常平等地看待所有事件，未能区分对理解叙述至关重要的显著事件。本文提出了CALLMSAE，一个用于显著事件图生成的级联大语言模型框架，它利用了LLM的能力，并消除了对昂贵的人工标注的需求。我们首先通过提示LLM生成摘要来识别显著事件，然后从中识别出显著事件。接下来，我们开发了一种迭代的代码改进提示策略来生成事件关系图，删除幻觉关系并恢复丢失的边。在CALLMSAE的支持下，我们提出了NYT-SEG，一个大规模自动标注的事件图数据集，可以作为远程监督信号。在NYT-SEG上微调上下文图生成模型优于在CAEVO数据上训练的模型。在人工标注的测试集上的结果表明，该方法生成了显著且更准确的图，优于具有竞争力的基线。

🔬 方法详解

问题定义：现有事件图生成方法平等对待所有事件，无法有效识别和突出文档中真正重要的“显著事件”，导致生成的事件图不够精炼，影响对文档核心内容的理解。同时，依赖大量人工标注数据，成本高昂。

核心思路：利用大语言模型（LLM）强大的文本理解和生成能力，通过级联的方式，首先让LLM生成文档摘要，从摘要中提取显著事件，再利用LLM生成事件关系图。这种方法避免了直接处理原始长文档的复杂性，并减少了对人工标注数据的依赖。

技术框架：CALLMSAE框架包含两个主要阶段：1) 显著事件识别：使用LLM生成文档摘要，然后从摘要中提取显著事件。2) 事件关系图生成：采用迭代的代码改进提示策略，利用LLM生成事件关系图，并通过不断地修正代码来删除幻觉关系并恢复丢失的边。

关键创新：该方法的核心创新在于利用LLM的摘要能力来识别显著事件，并采用迭代的代码改进提示策略来生成更准确的事件关系图。这种方法避免了传统方法中对所有事件一视同仁的处理方式，并减少了人工标注的需求。

关键设计：在事件关系图生成阶段，采用了迭代的代码改进提示策略。具体来说，LLM被提示生成用于构建事件关系图的代码，然后根据生成的图的质量（例如，是否存在幻觉关系或缺失的边）对代码进行迭代改进。这种迭代过程可以有效地提高生成图的准确性和完整性。此外，论文还提出了大规模自动标注的事件图数据集NYT-SEG，用于训练和评估模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CALLMSAE在人工标注的测试集上优于竞争基线，生成了更显著和更准确的事件图。此外，在NYT-SEG数据集上微调的上下文图生成模型也优于在CAEVO数据集上训练的模型，验证了NYT-SEG数据集的有效性。具体性能提升数据在论文中给出。

🎯 应用场景

该研究成果可应用于新闻摘要、信息检索、知识图谱构建等领域。通过自动生成文档的显著事件图，可以帮助用户快速了解文档的核心内容，提高信息获取效率。此外，该方法还可以用于分析社交媒体数据，识别关键事件和人物，从而更好地理解社会动态。

📄 摘要（原文）

Generating event graphs from long documents is challenging due to the inherent complexity of multiple tasks involved such as detecting events, identifying their relationships, and reconciling unstructured input with structured graphs. Recent studies typically consider all events with equal importance, failing to distinguish salient events crucial for understanding narratives. This paper presents CALLMSAE, a CAscading Large Language Model framework for SAlient Event graph generation, which leverages the capabilities of LLMs and eliminates the need for costly human annotations. We first identify salient events by prompting LLMs to generate summaries, from which salient events are identified. Next, we develop an iterative code refinement prompting strategy to generate event relation graphs, removing hallucinated relations and recovering missing edges. Powered by CALLMSAE, we present \textit{NYT-SEG}, a large-scale automatically annotated event graph dataset which can serve as distant supervision signals. Fine-tuning contextualised graph generation models on \textit{NYT-SEG} outperforms the models trained on CAEVO data. Results on a human-annotated test set show that the proposed method generates salient and more accurate graphs, outperforming competitive baselines.