CausalArena: Benchmarking Causal Discovery in the Foundation Model Era

📄 arXiv: 2609.11897v1 📥 PDF

作者: Zi-Rong Li, Si-Yang Liu, Tian-Zuo Wang, Han-Jia Ye

分类: cs.LG

发布日期: 2026-09-10

备注: 47 pages, 19 figures

💡 一句话要点

提出CausalArena以解决因果发现评估的多样性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果发现 基准评估 合成SCM 语义操作 科学推理 决策支持 机器学习

📋 核心要点

  1. 现有因果发现方法在评估时缺乏统一性，导致不同研究结果难以比较。
  2. CausalArena通过统一协议和多样化的合成SCM，提供了更为全面的因果发现评估框架。
  3. 实验表明，不同SCM家族和协议下的表现差异显著，强调了评估方法的多样性和复杂性。

📝 摘要（中文）

因果发现旨在从数据中揭示因果结构，是科学推理和基于干预的决策的基础。现有研究在图形家族、机制和评估协议上存在显著差异，导致评估的复杂性增加。CausalArena作为一个统一且可演化的基准，提供了在共同协议下的因果发现评估，涵盖了合成SCM、语义操作SCM和公式基础SCM等多种环境。实验结果显示，不同基准下的强表现并不一定能可靠转移，强调了基准多样性和预训练-评估重叠的挑战。

🔬 方法详解

问题定义：论文要解决因果发现评估缺乏统一性和可比性的问题。现有方法在图形家族、机制和评估协议上存在显著差异，导致结果难以解释和比较。

核心思路：CausalArena的核心思路是通过提供一个统一的基准框架，整合不同的合成SCM和真实数据集，以便在共同协议下进行因果发现的评估。这样的设计可以更好地控制评估环境，减少预训练与测试SCM之间的重叠影响。

技术框架：整体架构包括合成SCM、语义操作SCM和公式基础SCM三个主要模块。合成SCM提供结构和机制的控制，语义操作SCM确保环境的可审计性，公式基础SCM则测试在明确科学机制下的发现能力。

关键创新：CausalArena的关键创新在于其多样化的基准设计，能够在不同的因果结构和机制下进行评估，解决了传统方法的局限性。与现有方法相比，它提供了更为全面的评估视角。

关键设计：在设计中，CausalArena使用了多种合成生成器，确保了评估的广度和深度。同时，采用了真实世界数据集作为外部有效性检查，增强了评估结果的可信度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，不同SCM家族和协议下的表现差异显著，强表现在一个基准下并不一定能可靠转移到其他基准。这一发现强调了因果发现评估中的基准多样性和预训练-评估重叠问题的重要性。

🎯 应用场景

该研究的潜在应用领域包括科学研究、政策制定和医疗决策等。通过提供更为准确的因果关系评估，CausalArena可以帮助研究人员和决策者在复杂系统中做出更有效的干预和决策，推动科学进步和社会发展。

📄 摘要（原文）

Causal discovery aims to uncover causal structures from data and is fundamental to scientific reasoning and intervention-based decision making. Its evaluation relies heavily on structural causal models (SCMs), which specify a causal graph together with the mechanisms that generate data, yet existing studies differ substantially in graph families, mechanisms, and evaluation protocols. The emergence of causal discovery foundation models (CDFMs) further complicates evaluation: performance may reflect not only causal discovery ability, but also overlap between pretraining environments and test SCMs, making results on fixed synthetic benchmarks difficult to interpret. We introduce CausalArena, a unified and evolvable benchmark for causal discovery under a common protocol. Synthetic SCMs supply controlled breadth over structures and mechanisms; semantic operational SCMs provide human-auditable, semantically grounded environments beyond standard synthetic generators; and formula-grounded SCMs test discovery under explicit scientific mechanisms. Public real-world datasets provide an additional external-validity check. Experiments across classical, neural, and pretrained methods reveal substantial ranking shifts across SCM families and protocols, showing that strong performance in one benchmark regime does not reliably transfer to others. These results highlight benchmark diversity and pretraining--evaluation overlap as central challenges for evaluating causal discovery in the foundation model era.