ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models

📄 arXiv: 2502.15487v3 📥 PDF

作者: Martina Miliani, Serena Auriemma, Alessandro Bondielli, Emmanuele Chersoni, Lucia Passaro, Irene Sucameli, Alessandro Lenci

分类: cs.CL, cs.AI

发布日期: 2025-02-21 (更新: 2025-07-24)

备注: Accepted for publication in Findings of ACL 2025

期刊: In Findings of the Association for Computational Linguistics: ACL 2025, pages 17335-17355, Vienna, Austria. Association for Computational Linguistics

💡 一句话要点

提出ExpliCa数据集以评估大语言模型的显式因果推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 因果推理 时间关系 数据集 自然语言处理 模型评估 众包评分

📋 核心要点

  1. 现有的大语言模型在显式因果推理任务中表现不佳，尤其是在因果和时间关系的区分上存在困难。
  2. 论文提出ExpliCa数据集，旨在通过整合因果和时间关系来评估大语言模型的推理能力，特别关注语言顺序的影响。
  3. 实验结果显示，七个评估的模型在ExpliCa数据集上的准确率普遍低于0.80，且模型性能受语言顺序和规模的显著影响。

📝 摘要（中文）

大语言模型（LLMs）在需要解释性和推理准确性的任务中越来越受到重视。本文介绍了ExpliCa，一个用于评估LLMs在显式因果推理方面的新数据集。ExpliCa独特地整合了不同语言顺序中呈现的因果和时间关系，并通过语言连接词明确表达。该数据集还通过众包方式丰富了人类可接受性评分。我们通过提示和困惑度指标对LLMs进行了测试，评估了七个商业和开源的LLMs，结果显示即使是顶尖模型也难以达到0.80的准确率。值得注意的是，模型往往将时间关系与因果关系混淆，且其性能也受到事件语言顺序的强烈影响。最后，困惑度评分和提示性能受到模型规模的不同影响。

🔬 方法详解

问题定义：本文旨在解决大语言模型在显式因果推理任务中的不足，尤其是因果关系与时间关系的混淆问题。现有方法未能有效评估模型在这些复杂推理任务中的表现。

核心思路：论文提出ExpliCa数据集，通过结合因果和时间关系，并使用语言连接词明确表达，来评估大语言模型的推理能力。这种设计旨在提高模型对复杂语言结构的理解。

技术框架：ExpliCa数据集包含多种因果和时间关系的示例，模型通过提示进行测试，评估指标包括准确率和困惑度。数据集还包含人类评分，以提供更全面的评估。

关键创新：ExpliCa数据集的创新在于其独特的因果和时间关系整合方式，以及通过众包获取的人类可接受性评分。这使得评估更加全面和准确。

关键设计：在实验中，使用了多种大语言模型，并通过不同的提示和困惑度指标进行评估。模型的规模和语言顺序对性能的影响被详细分析，提供了对模型行为的深入理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，七个评估的商业和开源大语言模型在ExpliCa数据集上的准确率普遍低于0.80，表明即使是顶尖模型在显式因果推理任务中仍面临挑战。此外，模型在处理因果与时间关系时的混淆现象，以及模型规模对性能的影响，均为重要发现。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提高大语言模型在因果推理方面的能力，可以增强其在复杂推理任务中的表现，进而提升用户体验和系统的智能化水平。未来，ExpliCa数据集可能成为评估语言模型推理能力的标准工具，推动相关领域的研究进展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used in tasks requiring interpretive and inferential accuracy. In this paper, we introduce ExpliCa, a new dataset for evaluating LLMs in explicit causal reasoning. ExpliCa uniquely integrates both causal and temporal relations presented in different linguistic orders and explicitly expressed by linguistic connectives. The dataset is enriched with crowdsourced human acceptability ratings. We tested LLMs on ExpliCa through prompting and perplexity-based metrics. We assessed seven commercial and open-source LLMs, revealing that even top models struggle to reach 0.80 accuracy. Interestingly, models tend to confound temporal relations with causal ones, and their performance is also strongly influenced by the linguistic order of the events. Finally, perplexity-based scores and prompting performance are differently affected by model size.