A Foundation Model for Policy In-Context Longitudinal Causal Effect Estimation

📄 arXiv: 2610.32863v1 📥 PDF

作者: Wenxin Chen, Kyra Gan, Mingyu Lu, Zilin Jing, Fei Wang, Hoifung Poon, Tristan Naumann, Peniel Argaw

分类: cs.AI

发布日期: 2026-10-23

💡 一句话要点

提出PICLE-PFN以解决动态治疗政策下的因果效应估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果效应估计 动态治疗政策 纵向数据 机器学习 模型预训练

📋 核心要点

  1. 现有纵向因果效应估计方法在处理时间变化混杂和反馈循环时面临挑战，计算效率低下。
  2. PICLE-PFN通过上下文历史决策演示实现动态治疗政策的因果效应估计，简化了模型训练过程。
  3. 在合成和半合成基准测试中，PICLE-PFN在RMSE和不确定性校准上优于传统估计器，且运行时间显著减少。

📝 摘要（中文）

纵向因果效应估计受到时间变化混杂和治疗-混杂反馈循环的复杂影响。现有方法通常需要特定数据的干扰模型拟合，且许多方法针对预设的治疗序列或预测时间范围，导致在部署时计算耗时。本文提出了政策上下文纵向因果效应估计的先验数据拟合网络（PICLE-PFN），这是首个支持动态治疗政策的纵向因果效应估计基础模型。PICLE-PFN通过上下文历史决策演示来表示目标政策，为广泛的治疗政策提供统一接口。该模型在合成数据上进行预训练，能够在新观察数据集和目标政策下，直接预测条件平均潜在结果（CAPOs），无需特定任务的训练或超参数调整。在合成和半合成的纵向基准测试中，PICLE-PFN在RMSE和不确定性校准方面表现出竞争力，并显著减少了部署运行时间。

🔬 方法详解

问题定义：本文旨在解决动态治疗政策下的纵向因果效应估计问题。现有方法通常依赖于特定数据集的干扰模型拟合，且计算效率低下，难以适应不同的治疗序列和预测时间范围。

核心思路：PICLE-PFN通过在上下文中使用历史决策演示来表示目标政策，提供了一个统一的接口，能够在不同的数据集和政策下进行因果效应估计。该方法的设计旨在减少任务特定的训练需求，并提高模型的通用性和效率。

技术框架：PICLE-PFN的整体架构包括预训练阶段和推理阶段。在预训练阶段，模型在合成数据上进行训练，以学习因果关系。在推理阶段，给定新的观察数据集和目标政策，模型能够直接预测条件平均潜在结果（CAPOs）。

关键创新：PICLE-PFN的主要创新在于其作为基础模型的能力，能够支持动态治疗政策的因果效应估计。这与传统方法的逐个数据集训练和调优形成鲜明对比，显著提高了计算效率。

关键设计：模型的关键设计包括使用合成数据进行预训练，采用特定的损失函数来优化因果效应的估计，并通过上下文历史决策演示来增强模型的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在合成和半合成的纵向基准测试中，PICLE-PFN在均方根误差（RMSE）方面表现出竞争力，并在不确定性校准上显著改善。与传统的估计器相比，该模型在部署运行时间上减少了大量计算资源，提升了效率。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在医疗、经济学和社会科学等领域，能够帮助研究人员更有效地估计动态治疗政策的因果效应。通过减少计算时间和提高估计精度，PICLE-PFN能够支持实时决策制定，推动相关领域的研究进展。

📄 摘要（原文）

Longitudinal causal effect estimation is complicated by time-varying confounding and treatment-confounder feedback loops. Existing methods generally require data-specific nuisance-model fitting, and many are tailored to prespecified treatment sequences or prediction horizons, leading to time-consuming computation at deployment. We introduce Policy In-Context Longitudinal causal Effect estimation with Prior-data Fitted Networks (PICLE-PFN), the first foundation model for longitudinal causal effect estimation that supports dynamic treatment policies. PICLE-PFN represents target policies through in-context history-decision demonstrations, providing a unified interface for a broad class of treatment policies. Pretrained over synthetic data sampled from longitudinal structural causal models, PICLE-PFN amortizes causal effect estimation across datasets, policies, and horizons. Given a new observational dataset and target policy, it directly predicts conditional average potential outcomes (CAPOs) in one forward pass without task-specific training or hyperparameter tuning. Across synthetic and semi-synthetic longitudinal benchmarks, PICLE-PFN achieves competitive RMSE and substantially improved uncertainty calibration with a fraction of deployment runtime, compared to state-of-the-art conventional estimators trained and tuned separately for each dataset.