A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting

📄 arXiv: 2407.11638v2 📥 PDF

作者: He Chang, Chenchen Ye, Zhulin Tao, Jie Wu, Zhengmao Yang, Yunshan Ma, Xianglin Huang, Tat-Seng Chua

分类: cs.CL, cs.IR

发布日期: 2024-07-16 (更新: 2025-05-21)

💡 一句话要点

针对时序事件预测，构建基准数据集并全面评估大语言模型能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时序事件预测 大型语言模型 检索增强生成 基准数据集 零样本学习

📋 核心要点

  1. 现有方法缺乏对LLM在时序事件预测能力的系统性评估，尤其是在图文结合的数据上。
  2. 构建MidEast-TE-mini基准数据集，并设计多种输入格式和RAG模块的基线方法，探索LLM在此任务上的潜力。
  3. 实验表明，直接输入原始文本效果不佳，微调LLM效果显著，RAG能捕捉时序关系但存在偏差。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在知识问答、数学推理和常识推理等数据挖掘任务中展现出巨大潜力。然而，LLMs在时序事件预测方面的推理能力尚未得到充分探索。为了系统地研究LLMs在时序事件预测中的能力，我们对基于LLM的时序事件预测方法进行了全面评估。由于缺乏高质量的包含图和文本数据的数据集，我们首先构建了一个名为MidEast-TE-mini的基准数据集。基于此数据集，我们设计了一系列基线方法，其特点是具有各种输入格式和检索增强生成（RAG）模块。通过大量实验，我们发现直接将原始文本集成到LLMs的输入中并不能提高零样本外推性能。相反，使用原始文本对LLMs进行微调可以显著提高性能。此外，通过检索模块增强的LLMs可以有效地捕获隐藏在历史事件中的时序关系模式。然而，流行度偏差和长尾问题仍然存在于LLMs中，尤其是在检索增强生成（RAG）方法中。这些发现不仅加深了我们对基于LLM的事件预测方法的理解，而且突出了几个有希望的研究方向。我们认为，这项全面的评估以及已确定的研究机会将极大地促进未来通过LLMs进行时序事件预测的研究。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLMs）在时序事件预测任务中的能力。现有方法缺乏对LLMs在此领域的系统性研究，尤其是在处理包含图和文本数据的复杂场景时。此外，缺乏高质量的基准数据集也限制了相关研究的进展。

核心思路：论文的核心思路是通过构建一个高质量的基准数据集（MidEast-TE-mini），并在此基础上设计一系列基于LLM的基线方法，来系统地评估LLMs在时序事件预测任务中的性能。通过改变输入格式、引入检索增强生成（RAG）模块等方式，探索LLMs在不同条件下的表现，并分析其优势和局限性。

技术框架：整体框架包括数据准备、模型构建和实验评估三个主要阶段。数据准备阶段构建了MidEast-TE-mini数据集，包含图和文本信息。模型构建阶段设计了多种基线方法，包括直接输入原始文本、微调LLM、以及使用RAG模块增强LLM。实验评估阶段则通过一系列实验，对比不同方法的性能，并分析结果。

关键创新：论文的关键创新在于：1）构建了一个高质量的图文结合的时序事件预测基准数据集MidEast-TE-mini，填补了该领域的空白。2）系统地评估了LLMs在时序事件预测任务中的能力，并分析了不同输入格式和RAG模块对性能的影响。3）揭示了LLMs在处理时序事件预测任务时存在的流行度偏差和长尾问题。

关键设计：在模型设计方面，论文探索了多种输入格式，包括直接输入原始文本和使用结构化数据。在RAG模块的设计中，论文考虑了不同的检索策略和增强方式。此外，论文还使用了微调技术来优化LLMs在特定任务上的性能。具体的参数设置和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，直接将原始文本输入LLMs并不能有效提高零样本外推性能。然而，使用原始文本对LLMs进行微调可以显著提高性能。此外，通过检索模块增强的LLMs可以有效地捕获隐藏在历史事件中的时序关系模式。但RAG方法存在流行度偏差和长尾问题。具体性能提升幅度未知。

🎯 应用场景

该研究成果可应用于多个领域，例如：地缘政治事件预测、金融市场趋势预测、社交媒体热点事件预测等。通过利用LLMs强大的推理能力和对历史事件的理解，可以帮助决策者更好地预测未来事件的发生，从而做出更明智的决策。未来的研究可以进一步探索如何克服LLMs的局限性，例如流行度偏差和长尾问题，从而提高预测的准确性和可靠性。

📄 摘要（原文）

Recently, Large Language Models (LLMs) have demonstrated great potential in various data mining tasks, such as knowledge question answering, mathematical reasoning, and commonsense reasoning. However, the reasoning capability of LLMs on temporal event forecasting has been under-explored. To systematically investigate their abilities in temporal event forecasting, we conduct a comprehensive evaluation of LLM-based methods for temporal event forecasting. Due to the lack of a high-quality dataset that involves both graph and textual data, we first construct a benchmark dataset, named MidEast-TE-mini. Based on this dataset, we design a series of baseline methods, characterized by various input formats and retrieval augmented generation (RAG) modules. From extensive experiments, we find that directly integrating raw texts into the input of LLMs does not enhance zero-shot extrapolation performance. In contrast, fine-tuning LLMs with raw texts can significantly improve performance. Additionally, LLMs enhanced with retrieval modules can effectively capture temporal relational patterns hidden in historical events. However, issues such as popularity bias and the long-tail problem persist in LLMs, particularly in the retrieval-augmented generation (RAG) method. These findings not only deepen our understanding of LLM-based event forecasting methods but also highlight several promising research directions. We consider that this comprehensive evaluation, along with the identified research opportunities, will significantly contribute to future research on temporal event forecasting through LLMs.