Do Large Language Models Reason Causally Like Us? Even Better?

📄 arXiv: 2502.10215v2 📥 PDF

作者: Hanna M. Dettki, Brenden M. Lake, Charley M. Wu, Bob Rehder

分类: cs.AI, cs.LG

发布日期: 2025-02-14 (更新: 2025-06-06)

💡 一句话要点

评估大语言模型因果推理能力：部分模型超越人类，但仍有局限

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果推理 大型语言模型 碰撞图 联想偏差 认知科学

📋 核心要点

  1. 现有方法难以区分LLM的因果推理是基于真正理解还是统计模式。
  2. 论文通过碰撞图任务，对比人类与LLM的因果推理能力，评估模型是否具备类人甚至超越人类的因果推理能力。
  3. 实验表明，GPT-4o、Gemini-Pro和Claude在因果推理方面优于人类，但未能完全捕捉到所有微妙的推理模式。

📝 摘要（中文）

因果推理是智能的核心组成部分。大型语言模型（LLM）在生成类人文本方面表现出令人印象深刻的能力，引发了关于其响应是否反映了真正的理解或统计模式的问题。我们使用基于碰撞图的任务，比较了人类和四个LLM的因果推理能力，评估了在给定来自其他变量的证据的情况下，查询变量发生的可能性。LLM的因果推断能力参差不齐，从常常不合逻辑（GPT-3.5）到类人，再到通常比人类更符合规范（GPT-4o、Gemini-Pro和Claude）。计算模型拟合表明，GPT-4o、Gemini-Pro和Claude表现优异的一个原因是它们没有表现出困扰人类因果推理的“联想偏差”。然而，即使是这些LLM也没有完全捕捉到与碰撞图相关的更微妙的推理模式，例如“解释消除”。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）是否具备像人类一样的因果推理能力，以及它们在多大程度上能够进行因果推理。现有方法难以区分LLM的推理是基于对因果关系的真正理解，还是仅仅基于对训练数据中统计模式的记忆和模仿。人类在因果推理中存在一些固有的偏差，例如“联想偏差”，这可能会导致非理性的决策。

核心思路：论文的核心思路是通过设计一系列基于碰撞图的因果推理任务，来系统地评估LLM的因果推理能力。碰撞图是一种用于表示因果关系的图形模型，可以用来测试模型是否能够正确地推断变量之间的因果依赖关系。通过比较LLM和人类在这些任务上的表现，可以了解LLM在因果推理方面的优势和局限性。

技术框架：论文采用实验研究的方法，首先构建了一系列基于碰撞图的因果推理任务。然后，邀请人类参与者和使用四个不同的LLM（GPT-3.5、GPT-4o、Gemini-Pro和Claude）来完成这些任务。对于每个任务，参与者需要评估在给定某些变量的证据的情况下，另一个变量发生的可能性。最后，使用计算模型拟合的方法，分析人类和LLM的推理过程，以确定它们在因果推理中使用的策略和偏差。

关键创新：论文的关键创新在于使用碰撞图作为评估LLM因果推理能力的工具。碰撞图可以用来测试模型是否能够正确地推断变量之间的因果依赖关系，并且可以用来识别模型中的偏差。此外，论文还通过计算模型拟合的方法，深入分析了人类和LLM的推理过程，从而更好地理解了它们在因果推理方面的差异。

关键设计：论文的关键设计包括：1) 设计了多种不同类型的碰撞图任务，以测试模型在不同场景下的因果推理能力；2) 使用了Likert量表来评估参与者对变量发生可能性的判断；3) 使用了计算模型拟合的方法，例如贝叶斯模型，来分析人类和LLM的推理过程。没有涉及具体的网络结构或损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-4o、Gemini-Pro和Claude在某些因果推理任务中表现优于人类，它们较少受到“联想偏差”的影响。然而，即使是这些先进的LLM也未能完全捕捉到与碰撞图相关的更微妙的推理模式，例如“解释消除”。GPT-3.5的性能最差，经常产生不合逻辑的推断。

🎯 应用场景

该研究成果可应用于提升AI系统的决策能力，尤其是在医疗诊断、风险评估等需要进行复杂因果推理的领域。通过了解LLM的因果推理能力，可以更好地设计人机协作系统，并开发更可靠、更值得信赖的AI应用。未来的研究可以进一步探索如何消除LLM中的偏差，并提高其在更复杂因果推理任务中的表现。

📄 摘要（原文）

Causal reasoning is a core component of intelligence. Large language models (LLMs) have shown impressive capabilities in generating human-like text, raising questions about whether their responses reflect true understanding or statistical patterns. We compared causal reasoning in humans and four LLMs using tasks based on collider graphs, rating the likelihood of a query variable occurring given evidence from other variables. LLMs' causal inferences ranged from often nonsensical (GPT-3.5) to human-like to often more normatively aligned than those of humans (GPT-4o, Gemini-Pro, and Claude). Computational model fitting showed that one reason for GPT-4o, Gemini-Pro, and Claude's superior performance is they didn't exhibit the "associative bias" that plagues human causal reasoning. Nevertheless, even these LLMs did not fully capture subtler reasoning patterns associated with collider graphs, such as "explaining away".