CLadder: Assessing Causal Reasoning in Language Models

📄 arXiv: 2312.04350v3 📥 PDF

作者: Zhijing Jin, Yuen Chen, Felix Leeb, Luigi Gresele, Ojasv Kamal, Zhiheng Lyu, Kevin Blin, Fernando Gonzalez Adauto, Max Kleiman-Weiner, Mrinmaya Sachan, Bernhard Schölkopf

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-12-07 (更新: 2024-01-17)

备注: NeurIPS 2023; updated with CLadder dataset v1.5

🔗 代码/项目: GITHUB | HUGGINGFACE

💡 一句话要点

CLadder：构建因果推理数据集，评估大型语言模型的因果推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果推理 大型语言模型 自然语言处理 数据集 思维链 提示学习 形式化推理

📋 核心要点

  1. 现有NLP研究侧重于常识因果推理，缺乏对LLM基于形式规则进行因果推断能力的评估。
  2. 论文提出CLadder数据集和CausalCoT提示策略，旨在评估LLM在自然语言中进行因果推理的能力。
  3. 实验表明，CLadder任务对LLM具有挑战性，通过深入分析揭示了LLM在因果推理方面的局限性。

📝 摘要（中文）

本文旨在评估大型语言模型（LLMs）进行连贯因果推理的能力。现有自然语言处理（NLP）领域的研究主要集中于评估LLMs的常识因果推理能力，而忽略了模型是否能够按照一套明确的形式规则进行因果推断。为了解决这个问题，我们提出了一项新的NLP任务：自然语言中的因果推断，其灵感来源于Judea Pearl等人提出的“因果推理引擎”。我们构建了一个包含1万个样本的大型数据集CLadder：基于一系列因果图和查询（关联性、干预性和反事实性），通过一个oracle因果推理引擎获得符号问题和ground-truth答案，然后将其翻译成自然语言。我们在我们的数据集上评估了多个LLMs，并引入和评估了一种定制的思维链提示策略CausalCoT。结果表明，我们的任务对LLMs来说极具挑战性。我们进行了深入的分析，以更深入地了解LLMs的因果推理能力。我们的数据在https://huggingface.co/datasets/causalNLP/cladder上开源，我们的代码可以在https://github.com/causalNLP/cladder上找到。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在形式化因果推理方面的能力评估问题。现有方法主要集中于常识因果推理，缺乏对LLMs基于明确规则进行因果推断的系统性评估。这使得我们难以了解LLMs是否真正理解因果关系，还是仅仅依赖于表面模式匹配。

核心思路：论文的核心思路是构建一个包含形式化因果推理问题的数据集，并设计相应的评估方法。通过将因果图和查询转化为自然语言，可以测试LLMs在理解和应用因果规则方面的能力。CausalCoT提示策略旨在引导LLMs逐步推理，提高其解决复杂因果问题的能力。

技术框架：整体框架包括以下几个主要步骤：1) 构建因果图和查询；2) 使用oracle因果推理引擎生成符号答案；3) 将问题和答案翻译成自然语言，构建CLadder数据集；4) 使用CLadder数据集评估LLMs的因果推理能力；5) 引入CausalCoT提示策略，提高LLMs的性能。

关键创新：论文的关键创新在于：1) 提出了一个专门用于评估LLMs形式化因果推理能力的数据集CLadder；2) 设计了一种定制的思维链提示策略CausalCoT，旨在引导LLMs进行逐步推理；3) 对LLMs的因果推理能力进行了深入的分析，揭示了其在处理复杂因果问题方面的局限性。

关键设计：CLadder数据集包含关联性、干预性和反事实性三种类型的查询。CausalCoT提示策略通过提供一系列中间推理步骤的示例，引导LLMs逐步推导出答案。具体来说，提示词会引导模型识别因果图中的相关变量、应用相应的因果规则，并最终得出结论。数据集的构建过程保证了问题和答案的正确性，从而可以准确评估LLMs的因果推理能力。

📊 实验亮点

实验结果表明，即使使用CausalCoT提示策略，LLMs在CLadder数据集上的表现仍然远低于人类水平，表明LLMs在形式化因果推理方面存在显著的局限性。例如，在处理反事实查询时，LLMs的准确率明显低于关联性和干预性查询。这表明LLMs难以进行假设性推理，并且容易受到表面模式的影响。

🎯 应用场景

该研究成果可应用于提升LLM在需要精确因果推理的场景下的性能，例如医疗诊断、政策制定、科学研究等领域。通过提高LLM的因果推理能力，可以使其在这些领域做出更准确、更可靠的决策，并减少潜在的错误和偏差。未来的研究可以进一步探索如何将因果推理能力融入到LLM的训练过程中，从而构建更智能、更可靠的AI系统。

📄 摘要（原文）

The ability to perform causal reasoning is widely considered a core feature of intelligence. In this work, we investigate whether large language models (LLMs) can coherently reason about causality. Much of the existing work in natural language processing (NLP) focuses on evaluating commonsense causal reasoning in LLMs, thus failing to assess whether a model can perform causal inference in accordance with a set of well-defined formal rules. To address this, we propose a new NLP task, causal inference in natural language, inspired by the "causal inference engine" postulated by Judea Pearl et al. We compose a large dataset, CLadder, with 10K samples: based on a collection of causal graphs and queries (associational, interventional, and counterfactual), we obtain symbolic questions and ground-truth answers, through an oracle causal inference engine. These are then translated into natural language. We evaluate multiple LLMs on our dataset, and we introduce and evaluate a bespoke chain-of-thought prompting strategy, CausalCoT. We show that our task is highly challenging for LLMs, and we conduct an in-depth analysis to gain deeper insights into the causal reasoning abilities of LLMs. Our data is open-sourced at https://huggingface.co/datasets/causalNLP/cladder, and our code can be found at https://github.com/causalNLP/cladder.