PROPHET: An Inferable Future Forecasting Benchmark with Causal Intervened Likelihood Estimation

📄 arXiv: 2504.01509v1 📥 PDF

作者: Zhengwei Tao, Zhi Jin, Bincheng Li, Xiaoying Bai, Haiyan Zhao, Chengfeng Dou, Xiancai Chen, Jia Li, Linyu Li, Chongyang Tao

分类: cs.CL

发布日期: 2025-04-02

💡 一句话要点

PROPHET：一个基于因果干预似然估计的可推断未来预测基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 未来事件预测 因果推理 可推断性 基准测试 大型语言模型

📋 核心要点

  1. 现有未来事件预测基准缺乏对问题可推断性的考量，导致部分问题本质上无法通过检索到的信息进行有效预测。
  2. 论文提出因果干预似然（CIL）作为可推断性的统计度量，用于过滤和构建可推断的未来事件预测基准PROPHET。
  3. 实验验证了CIL的有效性，并使用PROPHET评估了多个预测系统，为未来研究提供了有价值的见解。

📝 摘要（中文）

预测未来事件是人工智能的终极目标之一。基于大型语言模型（LLM）的系统在预测未来事件方面显示出显著潜力，引起了研究界的广泛关注。目前，已经建立了一些基准，通过将事件预测形式化为检索增强生成（RAG）和推理任务来评估预测能力。在这些基准中，每个预测问题都通过检索到的相关新闻文章来回答。然而，由于没有考虑问题是否能被有效或充分的支持性理由所支持，这些基准中的一些问题可能本质上是不可推断的。为了解决这个问题，我们引入了一个新的基准PROPHET，它包含可推断的预测问题，并配有用于检索的相关新闻。为了确保基准的可推断性，我们提出了一种因果干预似然（CIL），这是一种通过因果推理评估可推断性的统计度量。在构建这个基准时，我们首先收集了最近的趋势预测问题，然后使用CIL过滤数据，从而产生了一个可推断的事件预测基准。通过广泛的实验，我们首先证明了CIL的有效性，并借助CIL对事件预测进行了深入研究。随后，我们在PROPHET上评估了几个具有代表性的预测系统，为未来的方向提供了宝贵的见解。

🔬 方法详解

问题定义：现有未来事件预测基准存在问题，即部分预测问题缺乏足够的支持性证据，导致模型难以进行有效推理和预测。这些基准没有充分考虑问题的可推断性，使得评估结果可能存在偏差。现有方法的痛点在于无法区分可推断和不可推断的问题，从而影响了模型性能的评估和提升。

核心思路：论文的核心思路是引入因果推理的概念，通过评估在给定相关信息的情况下，预测结果的可信程度来衡量问题的可推断性。具体而言，论文提出了一种名为因果干预似然（CIL）的统计度量，用于评估在对相关信息进行干预后，预测结果的概率变化。CIL值越高，表示问题越容易通过相关信息进行推断。

技术框架：PROPHET基准的构建流程如下：1) 收集最近的趋势预测问题；2) 使用CIL对问题进行过滤，保留CIL值较高的可推断问题；3) 为每个问题匹配相关的新闻文章作为检索的依据。整体框架的核心在于CIL的计算和应用，用于筛选出高质量的可推断预测问题。

关键创新：论文的关键创新在于提出了Causal Intervened Likelihood (CIL) 这一概念，并将其应用于未来事件预测基准的构建。CIL通过因果干预的方式，量化了预测问题在给定相关信息下的可推断性，从而解决了现有基准缺乏对问题可推断性考量的问题。CIL与现有方法的本质区别在于，它不仅仅关注预测的准确性，更关注预测的可解释性和可信度。

关键设计：CIL的计算涉及到因果图的构建和干预操作。具体而言，需要定义问题、相关信息和预测结果之间的因果关系，并使用因果推理的方法计算在对相关信息进行干预后，预测结果的概率变化。CIL的具体计算公式和参数设置在论文中有详细描述，但此处未提供具体细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了CIL的有效性，证明了其能够有效区分可推断和不可推断的预测问题。此外，论文还使用PROPHET基准评估了多个代表性的预测系统，并分析了它们在不同类型问题上的表现。实验结果为未来事件预测系统的研究提供了有价值的参考。

🎯 应用场景

该研究成果可应用于构建更可靠、更可信的未来事件预测系统。通过使用PROPHET基准进行评估，可以更好地了解模型的推理能力和预测的可解释性。此外，CIL方法也可以应用于其他需要评估可推断性的任务，例如知识图谱推理和问答系统。

📄 摘要（原文）

Predicting future events stands as one of the ultimate aspirations of artificial intelligence. Recent advances in large language model (LLM)-based systems have shown remarkable potential in forecasting future events, thereby garnering significant interest in the research community. Currently, several benchmarks have been established to evaluate the forecasting capabilities by formalizing the event prediction as a retrieval-augmented generation (RAG) and reasoning task. In these benchmarks, each prediction question is answered with relevant retrieved news articles. However, because there is no consideration on whether the questions can be supported by valid or sufficient supporting rationales, some of the questions in these benchmarks may be inherently noninferable. To address this issue, we introduce a new benchmark, PROPHET, which comprises inferable forecasting questions paired with relevant news for retrieval. To ensure the inferability of the benchmark, we propose Causal Intervened Likelihood (CIL), a statistical measure that assesses inferability through causal inference. In constructing this benchmark, we first collected recent trend forecasting questions and then filtered the data using CIL, resulting in an inferable benchmark for event prediction. Through extensive experiments, we first demonstrate the validity of CIL and in-depth investigations into event prediction with the aid of CIL. Subsequently, we evaluate several representative prediction systems on PROPHET, drawing valuable insights for future directions.