Using GPT-4 to guide causal machine learning

📄 arXiv: 2407.18607v2 📥 PDF

作者: Anthony C. Constantinou, Neville K. Kitson, Alessio Zanga

分类: cs.AI, cs.HC, cs.LG

发布日期: 2024-07-26 (更新: 2024-12-11)

💡 一句话要点

利用GPT-4引导因果机器学习，提升因果关系发现的准确性和可信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果机器学习 大型语言模型 GPT-4 因果发现 知识图谱 常识推理 因果关系

📋 核心要点

  1. 因果机器学习在生成因果图时常违反常识，导致用户对其结果缺乏信任，这是当前方法的主要挑战。
  2. 论文提出利用GPT-4的常识推理能力来引导因果机器学习，从而生成更符合领域专家认知的因果图。
  3. 实验表明，结合GPT-4的因果机器学习方法生成的因果图，其准确性更接近领域专家构建的知识图。

📝 摘要（中文）

本文评估了大型语言模型（LLMs）GPT-4在识别因果关系方面的能力。研究在最严格的条件下进行，仅基于变量标签，不提供任何其他上下文信息，以评估其推断因果关系的最低有效性。结果表明，问卷调查参与者认为GPT-4生成的因果图在评估的类别中最为准确，紧随其后的是领域专家构建的知识图，而因果机器学习（ML）的表现则远落后。本文强调了因果ML的局限性，即其生成的因果图常常违反常识，从而影响人们对它们的信任。然而，研究表明，将GPT-4与因果ML相结合可以克服这一局限性，从而产生从真实数据中学习到的图形结构，与单独使用因果ML相比，这些结构更符合领域专家的认知。总而言之，研究结果表明，尽管GPT-4并非专门设计用于进行因果推理，但它仍然可以作为因果表示的宝贵工具，因为它改进了旨在进行因果发现的因果ML算法的因果发现过程。

🔬 方法详解

问题定义：现有的因果机器学习方法在没有足够先验知识的情况下，容易生成违反常识的因果图，降低了结果的可信度。论文旨在解决因果机器学习结果与人类常识不符的问题，提升因果关系发现的准确性和可解释性。

核心思路：论文的核心思路是利用GPT-4的强大语言理解和常识推理能力，作为因果机器学习的先验知识或约束条件，引导因果图的生成过程，使其更符合人类的认知。通过结合LLM的知识和因果ML从数据中学习的能力，从而得到更合理的因果结构。

技术框架：整体流程包含以下几个阶段：1) 收集数据集并进行预处理；2) 使用GPT-4根据变量标签生成初始的因果关系假设；3) 使用因果机器学习算法（如PC算法、GES算法等）从数据中学习因果图；4) 将GPT-4的因果关系假设作为约束或指导，调整因果机器学习算法的学习过程，例如，通过修改评分函数或搜索策略；5) 对比和评估不同方法生成的因果图，包括与领域专家构建的知识图进行比较，以及通过问卷调查评估人类对因果图的认可度。

关键创新：最重要的创新点在于将大型语言模型（GPT-4）的常识推理能力融入到因果机器学习的流程中。传统因果机器学习算法主要依赖数据驱动，缺乏对常识的利用，而本研究通过GPT-4弥补了这一缺陷，使得生成的因果图更具可解释性和可信度。

关键设计：论文的关键设计包括：1) 如何有效地将GPT-4的输出转化为因果机器学习算法可以利用的先验知识，例如，将GPT-4生成的因果关系概率作为贝叶斯网络的先验概率；2) 如何设计合适的评分函数或搜索策略，使得因果机器学习算法在学习过程中优先考虑符合GPT-4推理的因果关系；3) 如何设计问卷调查，有效地评估人类对不同因果图的认可度，并将其作为评价指标。

📊 实验亮点

实验结果表明，由GPT-4引导的因果机器学习方法生成的因果图，在准确性方面更接近领域专家构建的知识图，并且在问卷调查中获得了更高的用户认可度。这表明，结合GPT-4的常识推理能力可以有效提升因果机器学习的性能，并增强用户对因果关系发现结果的信任。

🎯 应用场景

该研究成果可应用于医疗诊断、金融风险评估、政策制定等领域。通过结合GPT-4的常识推理和因果机器学习的数据驱动能力，可以帮助领域专家更准确地识别因果关系，从而做出更明智的决策。未来，该方法有望推广到更广泛的因果发现任务中，并与其他知识表示方法相结合，构建更完善的因果知识图谱。

📄 摘要（原文）

Since its introduction to the public, ChatGPT has had an unprecedented impact. While some experts praised AI advancements and highlighted their potential risks, others have been critical about the accuracy and usefulness of Large Language Models (LLMs). In this paper, we are interested in the ability of LLMs to identify causal relationships. We focus on the well-established GPT-4 (Turbo) and evaluate its performance under the most restrictive conditions, by isolating its ability to infer causal relationships based solely on the variable labels without being given any other context by humans, demonstrating the minimum level of effectiveness one can expect when it is provided with label-only information. We show that questionnaire participants judge the GPT-4 graphs as the most accurate in the evaluated categories, closely followed by knowledge graphs constructed by domain experts, with causal Machine Learning (ML) far behind. We use these results to highlight the important limitation of causal ML, which often produces causal graphs that violate common sense, affecting trust in them. However, we show that pairing GPT-4 with causal ML overcomes this limitation, resulting in graphical structures learnt from real data that align more closely with those identified by domain experts, compared to structures learnt by causal ML alone. Overall, our findings suggest that despite GPT-4 not being explicitly designed to reason causally, it can still be a valuable tool for causal representation, as it improves the causal discovery process of causal ML algorithms that are designed to do just that.