Efficient Randomized Experiments Using Foundation Models
作者: Piersilvio De Bartolomeis, Javier Abad, Guanbo Wang, Konstantin Donhauser, Raymond M. Duch, Fanny Yang, Issa J. Dahabreh
分类: cs.LG, stat.ME, stat.ML
发布日期: 2025-02-06 (更新: 2025-10-26)
备注: Accepted for presentation at the Conference on Neural Information Processing Systems (NeurIPS) 2025
💡 一句话要点
利用预训练模型提升随机实验效率并保证统计有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 随机实验 预训练模型 因果推断 统计推断 模型整合
📋 核心要点
- 随机实验成本高昂，结果不确定性大，而预训练模型驱动的in silico实验虽经济高效，但模型预测偏差会影响统计推断的有效性。
- 论文提出一种新方法，整合多个预训练模型的预测与实验数据，即使模型存在偏差，也能保证统计推断的有效性。
- 实验结果表明，该方法能显著提升精度，相当于减少高达20%的样本量，即可达到与传统方法相同的精度。
📝 摘要（中文）
随机实验是评估干预效果的首选方法，但成本高昂且结果往往具有很大的不确定性。另一方面，利用预训练模型的in silico实验提供了一种经济高效的替代方案，有可能获得更高的统计精度。然而，in silico实验的优势伴随着一个重大风险：如果模型未能准确预测实验对干预的响应，则统计推断无效。本文提出了一种新方法，该方法将来自多个预训练模型的预测与实验数据相结合，同时保留有效的统计推断。我们的估计器是一致且渐近正态的，其渐近方差不大于仅基于实验数据的标准估计器。重要的是，即使模型预测存在任意偏差，这些统计特性也成立。跨多个随机实验的经验结果表明，我们的估计器提供了显著的精度提升，相当于样本量减少高达20%，即可达到与仅基于实验数据的标准估计器相同的精度。
🔬 方法详解
问题定义：论文旨在解决随机实验中成本高、不确定性大的问题。现有方法依赖大量实验数据，成本高昂。而利用预训练模型进行in silico实验虽然成本较低，但模型预测的偏差会导致统计推断失效，无法保证结果的可靠性。因此，如何在降低实验成本的同时，保证统计推断的有效性是本研究要解决的核心问题。
核心思路：论文的核心思路是将多个预训练模型的预测结果与实际实验数据相结合，构建一个更准确、更鲁棒的估计器。即使单个模型的预测存在偏差，通过整合多个模型的预测，可以降低整体偏差，提高估计的准确性。同时，该方法在统计推断过程中考虑了模型预测的不确定性，从而保证了统计推断的有效性。
技术框架：该方法的技术框架主要包含以下几个步骤：1) 收集实验数据；2) 利用多个预训练模型对实验结果进行预测；3) 将模型预测结果与实验数据进行整合，构建一个混合估计器；4) 对混合估计器进行统计推断，评估干预效果。该框架的关键在于如何有效地整合模型预测结果和实验数据，以及如何保证统计推断的有效性。
关键创新：论文的关键创新在于提出了一种新的估计器，该估计器能够有效地整合多个预训练模型的预测结果和实验数据，同时保证统计推断的有效性。与现有方法相比，该方法不需要假设模型预测是无偏的，即使模型预测存在任意偏差，也能保证估计器的一致性和渐近正态性。此外，该方法还提供了一种评估模型预测不确定性的方法，从而可以更准确地进行统计推断。
关键设计：论文中提出的估计器是基于广义矩估计(GMM)框架构建的。具体来说，该估计器通过最小化一个目标函数来估计干预效果，该目标函数同时考虑了实验数据和模型预测结果。目标函数中包含一个权重参数，用于控制模型预测结果在估计中的贡献。该权重参数可以通过交叉验证等方法进行优化。此外，论文还提出了一种基于bootstrap的置信区间估计方法，用于评估估计结果的不确定性。
🖼️ 关键图片
📊 实验亮点
论文通过多个随机实验验证了所提出方法的有效性。实验结果表明，该方法能够显著提升估计精度，相当于减少高达20%的样本量，即可达到与仅基于实验数据的标准估计器相同的精度。这意味着在相同的实验成本下，该方法可以获得更准确的估计结果，或者在相同的精度要求下，可以显著降低实验成本。
🎯 应用场景
该研究成果可广泛应用于需要进行随机实验的领域，例如医疗健康、社会科学、市场营销等。通过利用预训练模型，可以显著降低实验成本，提高实验效率，从而加速科学发现和技术创新。例如，在药物研发领域，可以利用该方法预测药物的疗效，从而减少临床试验的规模和成本。在社会科学领域，可以利用该方法评估政策干预的效果，从而制定更有效的政策。
📄 摘要（原文）
Randomized experiments are the preferred approach for evaluating the effects of interventions, but they are costly and often yield estimates with substantial uncertainty. On the other hand, in silico experiments leveraging foundation models offer a cost-effective alternative that can potentially attain higher statistical precision. However, the benefits of in silico experiments come with a significant risk: statistical inferences are not valid if the models fail to accurately predict experimental responses to interventions. In this paper, we propose a novel approach that integrates the predictions from multiple foundation models with experimental data while preserving valid statistical inference. Our estimator is consistent and asymptotically normal, with asymptotic variance no larger than the standard estimator based on experimental data alone. Importantly, these statistical properties hold even when model predictions are arbitrarily biased. Empirical results across several randomized experiments show that our estimator offers substantial precision gains, equivalent to a reduction of up to 20% in the sample size needed to match the same precision as the standard estimator based on experimental data alone.