Unit-level aggregation breaks coverage in causal foundation models
作者: Gabe Schulman, Lucius E. J. Bynum, Yoav Wald
分类: stat.ML, cs.LG
发布日期: 2026-10-16
备注: 23 pages, 6 figures, 8 tables. Code: https://github.com/gabeschulman-nyu/subset-cate-coverage
💡 一句话要点
提出新方法以解决因果基础模型覆盖率下降问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 因果推断 可信区间 神经过程模型 模型校准 治疗效果估计
📋 核心要点
- 现有因果基础模型在单位组效果的平均估计中，可信区间的覆盖率存在显著下降，影响决策的可靠性。
- 论文提出通过联合预测多个单位的神经过程模型，解决因果基础模型在区间校准中的不足，确保更准确的覆盖率。
- 实验结果表明，改进后的模型在合成任务和六个标准基准上显著提高了覆盖率，验证了方法的有效性。
📝 摘要（中文）
因果基础模型（CFMs）在治疗效果估计方面表现出色，但在对单位组的效果进行平均时，其可信区间的校准存在问题。本文研究发现，CFMs的可信区间在简单的合成环境和标准基准上均出现覆盖率下降。以ACIC 2016为例，CausalPFN的温度校准95%区间在4802个单位中超过30个组后覆盖率低于名义值，且全样本平均的区间仅在20%的数据集中包含真实值。我们追踪到这一问题源于模型训练和区间形成的方式，提出了改进方案。通过两个神经过程模型的联合预测，显著提高了合成任务和六个基准上的覆盖率。
🔬 方法详解
问题定义：本文解决因果基础模型在单位组效果平均估计中可信区间覆盖率下降的问题。现有方法在训练和推理时将单位间的误差视为独立，导致覆盖率不足。
核心思路：提出通过联合预测多个单位的神经过程模型，考虑单位间的相关性，从而提高可信区间的准确性。这样的设计能够更好地捕捉数据生成过程中的不确定性。
技术框架：整体架构包括两个主要模块：首先是对多个单位的联合预测模型，其次是基于这些预测生成的可信区间。模型在训练时考虑单位间的相关性，推理时则结合这些信息生成更可靠的区间。
关键创新：最重要的创新在于引入了神经过程模型来处理单位间的相关性，这与传统方法将单位视为独立的假设形成鲜明对比。
关键设计：在模型设计中，采用了特定的损失函数来优化联合预测的准确性，并通过温度校准技术来调整输出的可信区间。
🖼️ 关键图片
📊 实验亮点
实验结果显示，改进后的神经过程模型在合成任务和六个基准上显著提高了可信区间的覆盖率，尤其在处理大于30个单位的组时，覆盖率提升明显，验证了模型的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括医疗决策、社会科学研究和经济学分析等，能够为政策制定者提供更可靠的因果推断依据。未来，改进的模型有望在更广泛的因果推断任务中发挥重要作用，提升决策的科学性和有效性。
📄 摘要（原文）
Causal foundation models (CFMs) show promising results for treatment-effect estimation, with unit-level estimates that are competitive on standard benchmarks. Many causal analyses, however, inform decisions through effects averaged over groups of units, such as the full sample, the treated units, or a subgroup, and for such decisions a CFM is useful only if its credible intervals are calibrated. We examine these intervals and find that their coverage degrades, both in simple synthetic settings and on standard benchmarks. On ACIC 2016, for example, temperature-calibrated 95% intervals from CausalPFN fall below nominal coverage beyond groups of 30 out of 4802 units, and intervals for the full-sample average contain the true value in only 20% of datasets. We trace this problem to how these models are trained and how their intervals are formed. They output a predictive distribution for one unit at a time and, at inference time, combine the unit-level variances as if the errors on different units were independent. We show formally that posterior uncertainty over the data-generating process makes these errors correlated. As a result, the combined variance is too small by a factor that grows with the size of the group. Empirically, this factor predicts where coverage fails and by how much. We then show that two neural process models, which make joint predictions for a group of units, account for this correlation and substantially improve coverage on synthetic tasks and, as heads on a frozen CausalPFN, on all six benchmarks.