Synergetic Event Understanding: A Collaborative Approach to Cross-Document Event Coreference Resolution with Large Language Models

📄 arXiv: 2406.02148v1 📥 PDF

作者: Qingkai Min, Qipeng Guo, Xiangkun Hu, Songfang Huang, Zheng Zhang, Yue Zhang

分类: cs.CL, cs.AI

发布日期: 2024-06-04

备注: Accepted to ACL-24 Main

💡 一句话要点

提出协同事件理解方法，利用大语言模型与小语言模型解决跨文档事件共指消解问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨文档事件共指消解 大型语言模型 小型语言模型 协同学习 事件抽取

📋 核心要点

  1. 现有跨文档事件共指消解方法依赖微调小型语言模型，但难以捕捉复杂多样的上下文信息。
  2. 论文提出协同事件理解方法，利用大语言模型总结事件，辅助小型语言模型学习事件表示。
  3. 实验结果表明，该方法在多个数据集上超越了单独使用大语言模型或小语言模型的方法，达到最优性能。

📝 摘要（中文）

跨文档事件共指消解(CDECR)旨在将多个文档中指向同一真实世界事件的事件提及聚类。现有方法通常微调BERT等小型语言模型(SLM)来处理事件提及上下文的兼容性。然而，由于上下文的复杂性和多样性，这些模型容易学习简单的共现关系。最近，ChatGPT等大型语言模型(LLM)展现了出色的上下文理解能力，但在适应特定信息抽取(IE)任务时面临挑战。本文提出了一种协同CDECR方法，利用通用LLM和特定任务SLM的能力。该策略首先通过提示LLM准确、全面地总结事件，然后SLM基于这些信息在微调过程中改进事件表示的学习。实验结果表明，我们的方法优于单独使用大型和小型语言模型，形成了互补优势。在各种数据集上，我们的方法都达到了最先进的性能，突显了其在不同场景中的有效性。

🔬 方法详解

问题定义：跨文档事件共指消解(CDECR)旨在识别并聚类来自不同文档中描述同一真实世界事件的事件提及。现有方法，特别是基于微调小型语言模型(SLM)的方法，在处理复杂和多样的上下文时表现不佳，容易学习到简单的共现模式，无法准确捕捉事件之间的语义关系。

核心思路：论文的核心思路是结合大型语言模型(LLM)的强大上下文理解能力和小型语言模型(SLM)的任务特定学习能力，通过协同工作来提升CDECR的性能。LLM负责从文档中提取和总结事件信息，为SLM提供更准确的事件表示学习指导。

技术框架：该方法包含两个主要阶段：1) LLM事件总结阶段：利用Prompt工程，引导LLM阅读文档并生成事件的准确、全面的摘要。2) SLM事件表示学习阶段：基于LLM提供的事件摘要，对SLM进行微调，使其能够更好地学习事件表示，从而提高CDECR的准确性。整体流程是LLM先验知识引导SLM进行更有效的学习。

关键创新：该方法最重要的创新点在于协同利用LLM和SLM的优势。与传统方法仅依赖SLM或直接使用LLM进行微调不同，该方法通过LLM的事件总结来增强SLM的事件表示学习，从而避免了SLM学习简单的共现模式，并克服了LLM在特定IE任务上的适应性问题。

关键设计：LLM事件总结阶段的关键在于Prompt的设计，需要精心设计Prompt模板，以引导LLM生成高质量的事件摘要。SLM事件表示学习阶段的关键在于如何将LLM提供的事件摘要有效地融入到SLM的训练过程中，可能涉及到特定的损失函数设计或网络结构调整，具体细节论文中未明确说明，属于未知内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该协同方法在多个CDECR数据集上取得了state-of-the-art的性能，超越了单独使用大型语言模型或小型语言模型的方法。具体性能数据和提升幅度在摘要中未明确给出，属于未知内容。但强调了该方法在不同场景下的有效性。

🎯 应用场景

该研究成果可应用于新闻事件追踪、舆情分析、金融风险预警等领域。通过准确识别和聚类跨文档的事件信息，可以帮助用户快速了解事件的整体情况，及时发现潜在的风险和机会。未来，该方法还可以扩展到其他信息抽取任务，例如实体链接、关系抽取等。

📄 摘要（原文）

Cross-document event coreference resolution (CDECR) involves clustering event mentions across multiple documents that refer to the same real-world events. Existing approaches utilize fine-tuning of small language models (SLMs) like BERT to address the compatibility among the contexts of event mentions. However, due to the complexity and diversity of contexts, these models are prone to learning simple co-occurrences. Recently, large language models (LLMs) like ChatGPT have demonstrated impressive contextual understanding, yet they encounter challenges in adapting to specific information extraction (IE) tasks. In this paper, we propose a collaborative approach for CDECR, leveraging the capabilities of both a universally capable LLM and a task-specific SLM. The collaborative strategy begins with the LLM accurately and comprehensively summarizing events through prompting. Then, the SLM refines its learning of event representations based on these insights during fine-tuning. Experimental results demonstrate that our approach surpasses the performance of both the large and small language models individually, forming a complementary advantage. Across various datasets, our approach achieves state-of-the-art performance, underscoring its effectiveness in diverse scenarios.