Externalized CPDAG Summaries Improve LLM Causal Deduction

📄 arXiv: 2609.31071v1 📥 PDF

作者: Wentao Sun, João Paulo Nogueira, Dominique Verchere, Mathieu Acher, Alonso Silva

分类: cs.AI

发布日期: 2026-09-25

备注: 18 pages, 2 figures. Accepted at NeurIPS 2026

💡 一句话要点

提出结构化思维以提升大语言模型的因果推断能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果推断 大语言模型 结构化思维 CPDAG 潜在对象推理 图神经网络 模型优化

📋 核心要点

  1. 现有方法在因果推断中常常忽视潜在对象的结构化表示，导致推理能力不足。
  2. 论文提出的结构化思维通过外部化CPDAG摘要，增强了模型对因果关系的理解和推理能力。
  3. 实验结果显示，结构化思维显著提升了模型的F1分数，尤其在多个基线模型上均表现出色。

📝 摘要（中文）

Corr2Cause问题旨在判断因果声明是否在与观察到的相关性和条件独立性兼容的每个有向无环图（DAG）中成立。我们将其框架化为潜在对象推理：标签由CPDAG查询定义，但自由形式的思维链常常将马尔可夫等价类问题简化为局部模式匹配。我们提出了结构化思维（Structured Thinking），这是一个两轮管道，首先外部化一个类型化、模式约束的CPDAG摘要，然后在该图状态下进行回答。在Corr2Cause完整测试中，结构化思维将Qwen3.5-27B的F1（是）从73.0提升至86.4，较强的PC指令基线提高了13.4个百分点，显示出显著的效果提升。

🔬 方法详解

问题定义：论文要解决的问题是如何在因果推断中有效利用潜在对象的结构化表示。现有方法往往将复杂的因果关系简化为局部模式匹配，导致推理能力不足。

核心思路：论文的核心解决思路是通过结构化思维外部化CPDAG摘要，从而在推理过程中提供更清晰的因果关系框架。这种设计旨在增强模型对因果关系的理解，避免简单的模式匹配。

技术框架：整体架构分为两轮：第一轮是生成一个类型化、模式约束的CPDAG摘要，第二轮是在该图状态下进行因果推理。主要模块包括CPDAG摘要生成和基于该摘要的推理模块。

关键创新：最重要的技术创新点在于将潜在对象的结构化表示外部化，并在推理过程中使用该结构。这与现有方法的本质区别在于，现有方法通常依赖于自由形式的推理，而忽视了潜在结构的利用。

关键设计：关键的参数设置包括CPDAG摘要的类型和约束条件，损失函数设计为优化推理的准确性，网络结构则采用了适应性强的图神经网络，以便更好地处理图结构数据。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，结构化思维将Qwen3.5-27B的F1（是）从73.0提升至86.4，相较于强基线提高了13.4个百分点，且在多个模型上均表现出显著的性能提升，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括因果推断、决策支持系统和复杂系统建模等。通过提升大语言模型在因果推断中的能力，能够为科学研究、社会科学和经济学等领域提供更为准确的分析工具，具有重要的实际价值和影响。

📄 摘要（原文）

Corr2Cause asks whether a causal claim holds in every DAG compatible with observed correlations and conditional independencies. We frame this as latent-object reasoning: the label is defined by a CPDAG query, but free-form chain-of-thought often collapses the Markov-equivalence-class problem into local pattern matching. We propose Structured Thinking, a two-turn pipeline that first externalizes a typed, schema-constrained CPDAG summary and then answers against that graph state. On the Corr2Cause full test, Structured Thinking raises Qwen3.5-27B from $73.0$ to $86.4$ $F_1$(Yes) over a strong PC-instruction baseline in the primary paired run ($+13.4$ pp; McNemar $p=2.4\times 10^{-6}$; bootstrap $95\%$ CI [$+8.4$, $+18.6$]); across three full-ID seeds, the mean gain is $+8.1 \pm 5.3$ pp. A PC-scaffolded two-turn prose control reaches only $67.6$ $F_1$, indicating that a detailed PC scaffold plus a schema-free prose intermediate is not sufficient. The same pattern holds on Qwen3.6-27B, Paraphrase-OOD, and GPT-5.4-mini. Scrambling the emitted CPDAG costs $12.0$ pp $F_1$, and a full-split audit shows close agreement with the reference CPDAG (ID skeleton $F_1$ $0.960$; exact match $75.9\%$). These results support a bounded design principle: externalize the latent object that defines the label, constrain its form, and test whether downstream answers use it.