Benchmarking and Enhancing Agentic Causal Discovery

📄 arXiv: 2610.22846v1 📥 PDF

作者: Pingchuan Ma, Rui Ding, Shuai Wang

分类: cs.LG

发布日期: 2026-10-16

💡 一句话要点

提出Heuresis基准以提升因果发现算法的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果发现 大型语言模型 数据分析 算法评估 模拟数据集

📋 核心要点

  1. 现有因果发现算法在处理数据集时，难以识别和修正算法错误，评估效果的基准不足。
  2. 论文提出Heuresis基准，通过匿名模拟数据集评估因果发现算法的性能，区分算法改进与数据分析的贡献。
  3. 实验结果显示，GPT-6.1 Sol在所有六个数据集上均超越最佳算法，尤其在最难的数据集上提升显著。

📝 摘要（中文）

大型语言模型（LLM）代理现在能够在数据集上运行因果发现算法并报告结果。然而，现有基准难以评估它们是否能发现算法的错误并进行修正。本文提出Heuresis，一个包含匿名模拟数据集的基准，涵盖从线性高斯到重尾的机制。通过分析不同数据集，Heuresis能够区分现有算法的改进和数据深入分析的收益。实验表明，GPT-6.1 Sol在所有六个数据集上超越了最佳算法，尤其在最困难的数据集上提升了14%的邻接F1分数。代码和数据将公开发布，以促进未来的研究。

🔬 方法详解

问题定义：本文旨在解决现有因果发现算法在数据集上运行时，难以识别错误和进行修正的问题。当前基准无法充分评估算法的真实表现和改进空间。

核心思路：论文提出Heuresis基准，通过构建匿名模拟数据集，涵盖多种机制，帮助评估因果发现算法的性能，尤其是通过深入分析数据来提升结果的能力。

技术框架：Heuresis基准由多个模拟数据集组成，数据集的机制从线性高斯到重尾分布不等。每个数据集都能够评估现有算法的表现与数据分析的贡献。

关键创新：最重要的创新在于引入了匿名数据集的概念，使得算法评估不受变量命名的影响，能够更客观地反映算法的真实能力。

关键设计：在实验中，使用了三种大型语言模型（GPT-6.1 Sol、Claude Opus 5.5和Qwen 3.8 Flash），并通过邻接F1分数来评估算法性能，特别关注算法在最困难数据集上的表现。实验结果显示，GPT-6.1 Sol在所有六个数据集上均表现优异。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，GPT-6.1 Sol在所有六个数据集上超越了最佳选择的算法，尤其在最困难的数据集上提升了14%的邻接F1分数，而Claude Opus 5.5则提升了7.4%。在最具挑战性的两个数据集上，两个代理恢复的三分之一真实边缘在任何算法的输出中都未出现，显示出该方法的独特优势。

🎯 应用场景

该研究的潜在应用领域包括因果推断、数据分析和机器学习模型的优化。通过改进因果发现算法，研究可以帮助科学家和工程师更好地理解数据中的因果关系，从而在医疗、经济、社会科学等领域产生实际价值。未来，Heuresis基准的公开发布将促进相关领域的进一步研究与发展。

📄 摘要（原文）

LLM agents can now run causal discovery algorithms on a dataset and report what comes out. Whether they do more than that, such as noticing where an algorithm went wrong and fixing it with further tests, is hard to tell from current benchmarks. Most of them give the variables meaningful names, and an LLM shown only the names of the Tübingen cause-effect pairs already gets 99% of the directions right. With the names removed, the data are usually clean enough that picking a better algorithm than PC closes most of the gap. We introduce Heuresis, a benchmark of anonymous simulated datasets whose mechanisms range from linear Gaussian to heavy-tailed. For each family of datasets it separates what a better existing algorithm can gain from what only a closer look at the data can gain, and it traces every edge an agent changes. Every family leaves a gap that none of the algorithms, the router and the two causal-discovery foundation models we ran can close, so a score above the best chosen algorithm has to come from using the data. We instantiate the benchmark with an agent harness and three LLMs, GPT-6.1 Sol, Claude Opus 5.5 and Qwen 3.8 Flash. GPT-6.1 Sol surpasses the best chosen algorithm on all six families, by 14% adjacency F1 on the most difficult one, and Claude Opus 5.5 does so by 7.4% there. A third of the true edges the two agents restore on the two hardest families appear in no algorithm's output. The code and data will be publicly released to facilitate future work.