ExplainerPFN: Towards tabular foundation models for model-free zero-shot feature importance estimations

📄 arXiv: 2601.23068v1 📥 PDF

作者: Joao Fonseca, Julia Stoyanovich

分类: cs.LG, cs.AI

发布日期: 2026-01-30

备注: 18 pages, 7 figures

💡 一句话要点

提出ExplainerPFN，用于无模型零样本特征重要性估计的表格数据基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 特征重要性 Shapley值 模型可解释性 零样本学习 表格数据 基础模型 因果推断

📋 核心要点

  1. 现有Shapley值方法依赖于模型访问，计算成本高昂，限制了其在实际场景中的应用。
  2. ExplainerPFN通过预训练的表格数据基础模型，实现了零样本的Shapley值估计，无需访问目标模型。
  3. 实验表明，ExplainerPFN的性能与依赖少量SHAP示例的few-shot代理解释器具有竞争力。

📝 摘要（中文）

在监督分类任务中，计算特征的重要性对于模型的可解释性至关重要。Shapley值是一种广泛使用的模型预测解释方法，但需要直接访问底层模型，这在实际部署中经常无法满足。此外，即使可以访问模型，其精确计算也可能非常昂贵。我们研究了是否可以在零样本设置中获得有意义的Shapley值估计，仅使用输入数据分布，而无需评估目标模型。为此，我们引入了ExplainerPFN，这是一个基于TabPFN的表格数据基础模型，该模型在从随机结构因果模型生成的合成数据集上进行预训练，并使用精确或接近精确的Shapley值进行监督。训练完成后，ExplainerPFN可以在没有模型访问、梯度或示例解释的情况下，预测未见过的表格数据集的特征属性。

🔬 方法详解

问题定义：论文旨在解决在无法直接访问模型的情况下，如何高效准确地估计特征重要性的问题。现有方法，如直接计算Shapley值，需要访问模型内部信息，并且计算复杂度高，难以应用于大规模数据集或模型不可访问的场景。这限制了模型可解释性技术在实际应用中的广泛使用。

核心思路：论文的核心思路是利用预训练的表格数据基础模型，学习从数据分布到Shapley值的映射关系。通过在大量合成数据上进行预训练，模型能够泛化到未见过的真实数据集，从而在零样本设置下估计特征重要性。这种方法避免了直接访问目标模型的需求，降低了计算成本。

技术框架：ExplainerPFN的整体框架包括以下几个主要阶段：1) 合成数据生成：利用随机结构因果模型生成大量的合成数据集，每个数据集包含特征和目标变量。2) Shapley值计算：对于每个合成数据集，计算精确或近似精确的Shapley值，作为训练标签。3) 模型预训练：使用TabPFN作为基础模型，在合成数据集上进行预训练，学习从数据分布到Shapley值的映射关系。4) 零样本预测：对于新的未见过的表格数据集，直接使用预训练的ExplainerPFN模型预测特征重要性。

关键创新：ExplainerPFN的关键创新在于其零样本的特征重要性估计能力。与传统的Shapley值方法相比，ExplainerPFN无需访问目标模型，也无需依赖任何示例解释。这使得它能够应用于更广泛的场景，例如模型不可访问或计算资源有限的情况。此外，通过预训练的方式，ExplainerPFN能够学习到通用的特征重要性模式，从而提高预测的准确性。

关键设计：ExplainerPFN的关键设计包括：1) 使用TabPFN作为基础模型，TabPFN是一种专门为表格数据设计的预训练模型，具有良好的泛化能力。2) 使用随机结构因果模型生成合成数据，保证数据的多样性和真实性。3) 使用精确或近似精确的Shapley值作为训练标签，提高模型的预测准确性。4) 通过调整TabPFN的超参数，例如网络深度和宽度，来优化模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ExplainerPFN在真实和合成数据集上进行了广泛的实验，结果表明，ExplainerPFN在零样本设置下，能够达到与依赖2-10个SHAP示例的few-shot代理解释器相竞争的性能。这表明ExplainerPFN具有良好的泛化能力和实用价值。

🎯 应用场景

ExplainerPFN可应用于各种需要模型可解释性的领域，如金融风控、医疗诊断、信用评估等。它能够帮助用户理解模型的决策过程，识别关键特征，并提高模型的透明度和可信度。此外，ExplainerPFN还可以用于特征选择、模型调试和数据质量评估等方面，具有广泛的应用前景。

📄 摘要（原文）

Computing the importance of features in supervised classification tasks is critical for model interpretability. Shapley values are a widely used approach for explaining model predictions, but require direct access to the underlying model, an assumption frequently violated in real-world deployments. Further, even when model access is possible, their exact computation may be prohibitively expensive. We investigate whether meaningful Shapley value estimations can be obtained in a zero-shot setting, using only the input data distribution and no evaluations of the target model. To this end, we introduce ExplainerPFN, a tabular foundation model built on TabPFN that is pretrained on synthetic datasets generated from random structural causal models and supervised using exact or near-exact Shapley values. Once trained, ExplainerPFN predicts feature attributions for unseen tabular datasets without model access, gradients, or example explanations. Our contributions are fourfold: (1) we show that few-shot learning-based explanations can achieve high fidelity to SHAP values with as few as two reference observations; (2) we propose ExplainerPFN, the first zero-shot method for estimating Shapley values without access to the underlying model or reference explanations; (3) we provide an open-source implementation of ExplainerPFN, including the full training pipeline and synthetic data generator; and (4) through extensive experiments on real and synthetic datasets, we show that ExplainerPFN achieves performance competitive with few-shot surrogate explainers that rely on 2-10 SHAP examples.