Timeline-based Sentence Decomposition with In-Context Learning for Temporal Fact Extraction

📄 arXiv: 2405.10288v3 📥 PDF

作者: Jianhao Chen, Haoyuan Ouyang, Junyang Ren, Wentao Ding, Wei Hu, Yuzhong Qu

分类: cs.CL, cs.AI

发布日期: 2024-05-16 (更新: 2024-06-18)

备注: Accepted to ACL2024 main conference

💡 一句话要点

提出基于时间线的句子分解策略TSDRE，用于提升时序事实抽取性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序事实抽取 时间线分解 大型语言模型 上下文学习 知识图谱

📋 核心要点

  1. 现有方法在处理复杂句子时，难以建立时间和事实之间的准确对应关系，这是时序事实抽取面临的主要挑战。
  2. 论文提出一种基于时间线的句子分解策略，利用大型语言模型的上下文学习能力，细粒度地理解事实对应的时间线。
  3. 实验结果表明，提出的TSDRE方法在HyperRED-Temporal和ComplexTRED数据集上均取得了当前最优的性能。

📝 摘要（中文）

本文针对自然语言文本中的时序事实抽取问题，提出了一种基于时间线的句子分解策略。现有方法难以处理复杂句子中时间和事实的对应关系。为了解决这个问题，我们利用大型语言模型（LLMs）的上下文学习能力，提出了一种基于时间线的句子分解策略，以确保对与各种事实相关的时间线进行细粒度的理解。此外，我们评估了LLMs直接进行时序事实抽取的性能，结果并不理想。为此，我们引入了TSDRE方法，该方法将LLMs的分解能力融入到较小预训练语言模型（PLMs）的微调中。为了支持评估，我们构建了一个复杂的时序事实抽取数据集ComplexTRED。实验结果表明，TSDRE在HyperRED-Temporal和ComplexTRED数据集上都取得了最先进的结果。

🔬 方法详解

问题定义：论文旨在解决从自然语言文本中抽取时序事实的问题，尤其关注复杂句子中时间和事实对应关系难以建立的挑战。现有方法在处理此类复杂情况时，无法准确地将事实与对应的时间信息关联起来，导致抽取效果不佳。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的上下文学习能力，将复杂句子分解为更小的、与时间线对齐的单元。通过这种分解，可以更清晰地建立事实与时间之间的对应关系，从而提高时序事实抽取的准确性。

技术框架：整体框架包含两个主要阶段：1) 基于时间线的句子分解：利用LLMs的上下文学习能力，将复杂句子分解为多个子句，每个子句对应时间线上的一个特定事件或状态。2) 时序事实抽取：将分解后的子句输入到微调后的预训练语言模型（PLM）中，进行时序事实抽取。TSDRE方法将LLMs的分解能力融入到较小预训练语言模型（PLMs）的微调中。

关键创新：论文的关键创新在于提出了基于时间线的句子分解策略，该策略能够有效地处理复杂句子中时间和事实的对应关系。与直接使用LLMs进行抽取相比，该方法结合了LLMs的分解能力和PLMs的抽取能力，实现了更好的性能。

关键设计：论文构建了ComplexTRED数据集，用于评估模型在复杂时序事实抽取任务上的性能。在句子分解阶段，使用了特定的prompt工程来引导LLMs进行时间线相关的分解。在微调阶段，使用了标准的交叉熵损失函数来优化PLM的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TSDRE方法在HyperRED-Temporal和ComplexTRED数据集上均取得了state-of-the-art的结果。具体而言，在ComplexTRED数据集上，TSDRE相较于之前的最佳模型，性能提升显著，验证了该方法在处理复杂时序事实抽取任务上的有效性。

🎯 应用场景

该研究成果可应用于知识图谱构建、事件时间线分析、历史事件追踪等领域。通过准确抽取文本中的时序事实，可以构建更完整、更精确的知识库，为下游任务提供更可靠的数据支持。例如，在金融领域，可以用于分析公司事件的时间线，预测市场趋势。

📄 摘要（原文）

Facts extraction is pivotal for constructing knowledge graphs. Recently, the increasing demand for temporal facts in downstream tasks has led to the emergence of the task of temporal fact extraction. In this paper, we specifically address the extraction of temporal facts from natural language text. Previous studies fail to handle the challenge of establishing time-to-fact correspondences in complex sentences. To overcome this hurdle, we propose a timeline-based sentence decomposition strategy using large language models (LLMs) with in-context learning, ensuring a fine-grained understanding of the timeline associated with various facts. In addition, we evaluate the performance of LLMs for direct temporal fact extraction and get unsatisfactory results. To this end, we introduce TSDRE, a method that incorporates the decomposition capabilities of LLMs into the traditional fine-tuning of smaller pre-trained language models (PLMs). To support the evaluation, we construct ComplexTRED, a complex temporal fact extraction dataset. Our experiments show that TSDRE achieves state-of-the-art results on both HyperRED-Temporal and ComplexTRED datasets.