Causal Foundation Models with Continuous Treatments

📄 arXiv: 2605.15133v1 📥 PDF

作者: Christopher Stith, Medha Barath, Vahid Balazadeh, Jesse C. Cresswell, Rahul G. Krishnan

分类: cs.LG

发布日期: 2026-05-14

备注: 22 pages, 9 figures

💡 一句话要点

提出首个连续性干预因果基础模型，用于预测各种未见任务中的因果效应。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果推断 连续干预 元学习 基础模型 Transformer 上下文学习 个体响应曲线

📋 核心要点

  1. 现有因果推断方法在处理连续性干预变量时面临挑战，难以准确建模干预值连续变化带来的影响。
  2. 论文提出一种因果基础模型，通过元学习方式，利用Transformer架构和上下文学习，预测连续干预下的个体响应曲线。
  3. 实验表明，该模型在个体干预-响应曲线重建任务上优于专门训练的因果模型，展现了良好的泛化能力。

📝 摘要（中文）

因果推断是从观测数据中估计因果效应，是许多学科中的基本工具。在各种领域中，连续性干预设置尤为重要，其中干预变量具有连续范围。与二元干预设置相比，这种设置的研究较少，并且代表着一个重大转变，模型需要表示跨越干预值连续体的效应。在本文中，我们提出了第一个用于连续性干预设置的因果基础模型。我们的模型元学习了预测各种未见任务中的因果效应的能力，而无需额外的训练或微调。首先，我们设计了一种新的先验，用于具有连续干预变量的数据生成过程，以便生成丰富的因果训练语料库。然后，我们训练一个Transformer，仅根据观测数据重建个体干预-响应曲线，利用上下文学习来分摊昂贵的贝叶斯后验推断。与专门为这些任务训练的因果模型相比，我们的模型在个体干预-响应曲线重建任务上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决连续性干预变量下的因果效应估计问题。现有方法难以有效处理连续干预变量，无法准确预测个体对不同干预水平的响应。这限制了因果推断在许多实际场景中的应用，例如药物剂量优化、个性化推荐等。

核心思路：论文的核心思路是利用元学习的思想，训练一个能够泛化到不同因果任务的基础模型。该模型通过学习大量模拟的因果数据集，掌握连续干预变量下的因果关系建模能力，从而能够快速适应新的任务，预测个体干预-响应曲线。

技术框架：整体框架包含两个主要阶段：1) 数据生成阶段：设计一种新的先验分布，用于生成具有连续干预变量的因果数据集。该先验分布能够模拟各种复杂的因果关系，从而为模型的训练提供丰富的训练数据。2) 模型训练阶段：使用Transformer架构作为基础模型，利用上下文学习的方式，训练模型根据观测数据重建个体干预-响应曲线。

关键创新：最重要的创新点在于提出了第一个用于连续性干预的因果基础模型。该模型能够通过元学习的方式，泛化到各种未见的因果任务，而无需额外的训练或微调。此外，论文还设计了一种新的先验分布，用于生成具有连续干预变量的因果数据集，为模型的训练提供了高质量的训练数据。

关键设计：在数据生成阶段，论文设计了一种新的先验分布，该分布能够控制干预变量的分布、因果关系的强度以及噪声水平。在模型训练阶段，论文使用Transformer架构作为基础模型，并采用上下文学习的方式进行训练。具体来说，模型接收观测数据作为输入，并预测个体干预-响应曲线。损失函数采用均方误差，用于衡量预测曲线与真实曲线之间的差异。

📊 实验亮点

该模型在个体干预-响应曲线重建任务上取得了state-of-the-art的性能，显著优于专门为特定任务训练的因果模型。这表明该模型具有良好的泛化能力，能够适应各种未见的因果任务。具体的性能数据和对比基线在论文中有详细描述。

🎯 应用场景

该研究成果可应用于多个领域，例如个性化医疗（优化药物剂量）、推荐系统（根据用户特征调整推荐策略）、经济学（评估政策干预效果）等。通过准确估计连续干预变量下的因果效应，可以为决策提供更可靠的依据，从而提高决策的效率和效果。未来，该模型可以进一步扩展到更复杂的因果场景，例如多变量干预、时序因果推断等。

📄 摘要（原文）

Causal inference, estimating causal effects from observational data, is a fundamental tool in many disciplines. Of particular importance across a variety of domains is the continuous treatment setting, where the variable of intervention has a continuous range. This setting is far less explored and represents a substantial shift from the binary treatment setting, with models needing to represent effects across a continuum of treatment values. In this paper, we present the first causal foundation model for the continuous treatment setting. Our model meta-learns the ability to predict causal effects across a wide variety of unseen tasks without additional training or fine-tuning. First, we design a novel prior over data-generating processes with continuous treatment variables in order to generate a rich causal training corpus. We then train a transformer to reconstruct individual treatment-response curves given only observational data, leveraging in-context learning to amortize expensive Bayesian posterior inference. Our model achieves state-of-the-art performance on individual treatment-response curve reconstruction tasks compared to causal models which are trained specifically for those tasks.