Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining

📄 arXiv: 2609.26290v1 📥 PDF

作者: Zhiheng Zhang

分类: stat.ML, cs.LG

发布日期: 2026-09-22

💡 一句话要点

提出波动监督预训练以解决因果表格建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果推断 表格建模 波动监督 效应估计 机器学习

📋 核心要点

  1. 现有因果表格模型在处理效应估计时存在潜在效应监督的不足，未能有效编码固定部署人群的重复样本响应。
  2. 本文提出波动监督预训练（FSP），通过合成表格的平均处理效应和影响函数波动进行标记，优化了效应估计过程。
  3. 实验结果显示，FSP在处理大效应偏移时显著降低了均方根误差，相较于其他方法有显著提升。

📝 摘要（中文）

因果表格基础模型在合成机制中进行效应估计，但现有的潜在效应监督方法奖励后验收缩，而未能直接编码固定部署人群中所需的重复样本响应。本文提出波动监督预训练（FSP），每个合成表格通过其平均处理效应及其有效影响函数波动进行标记，同时部署保持单一的冻结前向传递。我们证明了一个端点转变：每个固定的λ<1保留了标签模糊性，而完全波动使高斯标签可观察，并将最优有限层因果标签预测风险降低至n^{-2}的阶数。实验结果表明，FSP在处理大效应偏移时，相较于潜在监督和CausalPFN检查点分别减少了69.8%和39.5%的均方根误差。

🔬 方法详解

问题定义：本文旨在解决因果表格建模中的效应估计问题，现有方法在潜在效应监督下未能有效编码固定部署人群的重复样本响应，导致估计不准确。

核心思路：提出波动监督预训练（FSP），通过合成表格的平均处理效应和影响函数波动进行标记，确保在固定部署中保持高效的效应估计。

技术框架：FSP的整体架构包括合成表格生成、波动标记、固定前向传递和效应估计四个主要模块，确保在训练和部署阶段的有效性。

关键创新：FSP的核心创新在于引入波动监督，使得标签模糊性得到控制，并将因果标签预测风险降低至n^{-2}的阶数，与传统潜在监督方法相比，显著提高了效应估计的准确性。

关键设计：在FSP中，关键参数λ的选择影响标签模糊性，损失函数设计考虑了标签、网络、采样和优化误差，确保在不同阶段的有效性和准确性。实验中使用的网络结构为原始行/列骨干网络，优化了大效应偏移的均方根误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FSP在处理大效应偏移时，相较于潜在监督方法减少了69.8%的均方根误差，相较于CausalPFN检查点减少了39.5%。这些结果验证了FSP在因果效应估计中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括医疗、社会科学和经济学等需要因果推断的领域。通过提高因果效应估计的准确性，FSP可以帮助研究人员更好地理解干预措施的影响，从而在政策制定和临床决策中提供更可靠的依据，未来可能推动因果推断方法的广泛应用与发展。

📄 摘要（原文）

Causal tabular foundation models amortize effect estimation across synthetic mechanisms, but latent-effect supervision rewards posterior shrinkage instead of directly encoding the repeated-sample response needed in a fixed deployment population. We introduce fluctuation-supervised pretraining (FSP): each synthetic table is labeled by its average treatment effect plus its efficient influence-function fluctuation, while deployment remains a single frozen forward pass. Along the path $T_{λ,P}=θ(P)+λP_nψ_P$, we prove an endpoint transition: every fixed $λ<1$ retains label ambiguity of order $(1-λ)^2/n$, whereas full fluctuation makes the Gaussian label observable and reduces optimal finite-stratum causal label-prediction risk to order $n^{-2}$. One finite-pretraining bound combines label, network, episode-sampling, and optimization errors; its resulting sampling defect controls fixed-mechanism bias, mean squared error, variance, Gaussian approximation, and, with variance-head accuracy, studentized coverage. Complementary lower bounds separate the local $n^{-1}$ ATE risk that deployment observations cannot erase from the $\log N/M$ excess risk of a generic finite-dictionary episode-learning problem. Experiments trace the learned sampling response. With a raw-row/column backbone, FSP reduces large-effect-shift RMSE by 69.8% relative to latent supervision and by 39.5% relative to a released CausalPFN checkpoint on matched tables. Continuous-covariate experiments, known-effect semisynthesis and two randomized-study evaluations separate sampling-law fidelity from point-risk shrinkage and expose weak-overlap errors in both learned heads.