InferenceEvolve: Towards Automated Causal Effect Estimators through Self-Evolving AI
作者: Can Wang, Hongyu Zhao, Yiqun Chen
分类: cs.AI, cs.CE, cs.MS, stat.AP
发布日期: 2026-04-07
💡 一句话要点
InferenceEvolve：利用自进化AI实现因果效应估计器的自动发现与优化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 因果推断 大型语言模型 进化算法 自动机器学习 科学发现
📋 核心要点
- 现有因果推断方法选择困难，受限于统计方法复杂性和真实数据的多样性。
- InferenceEvolve利用大型语言模型，通过进化算法自动发现和优化因果推断方法。
- 实验表明，InferenceEvolve在多个基准测试中超越现有方法，并在社区竞赛中表现出色。
📝 摘要（中文）
因果推断是科学发现的核心，但由于统计方法和现实世界数据的复杂性，选择合适的方法仍然具有挑战性。受人工智能在加速科学发现方面的成功启发，我们引入了InferenceEvolve，这是一个进化框架，它使用大型语言模型来发现和迭代改进因果方法。在广泛使用的基准测试中，InferenceEvolve产生的估计器始终优于已建立的基线：在最近的社区竞赛中，针对58个人工提交的方案，我们最佳的进化估计器位于两个评估指标的帕累托前沿。我们还为没有半合成结果的设置开发了稳健的代理目标，并取得了有竞争力的结果。对进化轨迹的分析表明，智能体逐步发现针对未公开的数据生成机制量身定制的复杂策略。这些发现表明，即使在只能部分观察到结果的情况下，语言模型引导的进化也可以优化结构化的科学程序，例如因果推断。
🔬 方法详解
问题定义：论文旨在解决因果推断中方法选择的难题。现有方法依赖人工选择，需要专家知识，且难以适应复杂多变的数据生成机制。这导致了因果效应估计的准确性和效率受限。
核心思路：论文的核心思路是利用大型语言模型（LLM）作为智能体，通过进化算法自动搜索和优化因果推断方法。LLM具备代码生成和理解能力，可以生成和修改因果推断程序的代码。进化算法则负责指导LLM的搜索方向，使其逐步发现更有效的因果推断策略。
技术框架：InferenceEvolve的整体框架是一个进化循环。首先，初始化一组由LLM生成的因果推断程序。然后，对这些程序进行评估，评估指标可以是基于半合成数据的因果效应估计准确性，或者是在没有真实结果的情况下，基于代理目标的评估。根据评估结果，使用进化算法选择优秀的程序，并对其进行变异和交叉操作，生成新的程序。重复这个过程，直到达到预定的迭代次数或满足收敛条件。
关键创新：InferenceEvolve的关键创新在于将大型语言模型与进化算法相结合，实现了因果推断方法的自动发现和优化。与传统方法相比，InferenceEvolve无需人工干预，可以自动适应不同的数据生成机制，并发现更有效的因果推断策略。此外，论文还提出了适用于没有半合成结果的设置的代理目标，扩展了InferenceEvolve的应用范围。
关键设计：论文的关键设计包括：1) 使用LLM生成和修改因果推断程序；2) 设计合适的评估指标，包括基于半合成数据的准确性和基于代理目标的评估；3) 选择合适的进化算法，例如遗传算法或进化策略；4) 设计有效的变异和交叉操作，例如代码片段的替换、参数的调整等。具体的LLM选择、进化算法参数、变异操作等细节可能需要根据具体应用场景进行调整。
🖼️ 关键图片
📊 实验亮点
InferenceEvolve在多个基准测试中超越了现有的因果推断方法。在最近的社区竞赛中，针对58个人工提交的方案，InferenceEvolve的最佳进化估计器位于两个评估指标的帕累托前沿，表明其在准确性和效率方面均具有优势。此外，InferenceEvolve在没有半合成结果的设置下，通过使用代理目标，也取得了有竞争力的结果。
🎯 应用场景
InferenceEvolve可应用于多个领域，例如医学研究、经济学分析、社会科学研究等。它可以帮助研究人员更有效地进行因果推断，从而更好地理解复杂现象的内在机制，并为决策提供更可靠的依据。未来，InferenceEvolve有望成为一个通用的因果推断工具，促进科学发现和技术创新。
📄 摘要（原文）
Causal inference is central to scientific discovery, yet choosing appropriate methods remains challenging because of the complexity of both statistical methodology and real-world data. Inspired by the success of artificial intelligence in accelerating scientific discovery, we introduce InferenceEvolve, an evolutionary framework that uses large language models to discover and iteratively refine causal methods. Across widely used benchmarks, InferenceEvolve yields estimators that consistently outperform established baselines: against 58 human submissions in a recent community competition, our best evolved estimator lay on the Pareto frontier across two evaluation metrics. We also developed robust proxy objectives for settings without semi-synthetic outcomes, with competitive results. Analysis of the evolutionary trajectories shows that agents progressively discover sophisticated strategies tailored to unrevealed data-generating mechanisms. These findings suggest that language-model-guided evolution can optimize structured scientific programs such as causal inference, even when outcomes are only partially observed.