Computing Conditional Shapley Values Using Tabular Foundation Models
作者: Lars Henry Berge Olsen, Dennis Christensen
分类: cs.AI
发布日期: 2026-02-10
💡 一句话要点
利用表格型预训练模型加速条件Shapley值的计算
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Shapley值 可解释AI 表格型预训练模型 条件期望 上下文学习
📋 核心要点
- 计算Shapley值以解释模型预测时，在特征相关的情况下，需要大量计算条件期望，传统方法计算成本高昂。
- 论文提出利用表格型预训练模型（如TabPFN）的上下文学习能力，无需重新训练即可快速近似条件期望，降低计算复杂度。
- 实验表明，TabPFN在计算Shapley值时，通常能达到最佳性能，即使略逊于最佳方法，也能显著降低运行时间。
📝 摘要（中文）
Shapley值已成为可解释人工智能的基石，但其计算成本很高，尤其是在特征之间存在依赖关系时。评估Shapley值需要近似大量的条件期望，这可以通过蒙特卡洛积分或回归来实现。直到最近，深度学习才有可能被充分利用于回归方法，因为每次条件期望的重新训练耗时过长。诸如TabPFN之类的表格型预训练模型通过利用上下文学习克服了这一计算障碍，因此可以在无需任何重新训练的情况下近似每个条件期望。在本文中，我们使用TabPFN的多个变体计算Shapley值，并将它们的性能与模拟和真实数据集上的最先进方法进行比较。在大多数情况下，TabPFN产生最佳性能；在少数情况下，它仅比最佳方法略差，但运行时间却大大缩短。我们讨论了进一步的改进，以及如何更好地调整表格型预训练模型，专门用于条件Shapley值估计。
🔬 方法详解
问题定义：论文旨在解决计算条件Shapley值时计算复杂度高的问题，尤其是在特征之间存在依赖关系的情况下。现有的方法，如蒙特卡洛积分或回归，需要大量的计算资源来近似条件期望，而深度学习方法由于需要为每个条件期望重新训练模型，因此效率低下。
核心思路：论文的核心思路是利用表格型预训练模型（TabPFN）的上下文学习能力，避免为每个条件期望重新训练模型。TabPFN能够在少量样本的情况下快速适应新的任务，从而加速条件期望的计算。通过预训练，模型已经学习到大量表格数据的先验知识，可以快速泛化到新的条件期望估计任务。
技术框架：整体流程包括：1) 使用TabPFN的多个变体；2) 利用TabPFN的上下文学习能力近似条件期望；3) 使用近似的条件期望计算Shapley值；4) 在模拟和真实数据集上评估Shapley值的准确性和计算效率；5) 将TabPFN的性能与现有的Shapley值计算方法进行比较。
关键创新：论文的关键创新在于将表格型预训练模型应用于条件Shapley值的计算。与传统方法相比，TabPFN无需为每个条件期望重新训练模型，从而显著降低了计算成本。此外，TabPFN的上下文学习能力使其能够快速适应新的任务，提高了计算效率。
关键设计：论文使用了TabPFN的多个变体，并针对条件Shapley值估计任务进行了调整。具体的调整细节可能包括：选择合适的TabPFN架构、调整上下文学习的参数、以及设计特定的损失函数来优化条件期望的估计。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TabPFN在大多数情况下能够获得最佳的Shapley值计算性能。即使在少数情况下性能略逊于最佳方法，其运行时间也远低于其他方法。这表明TabPFN在计算效率和准确性之间取得了良好的平衡，为大规模应用Shapley值提供了可能。
🎯 应用场景
该研究成果可广泛应用于需要模型可解释性的领域，例如金融风控、医疗诊断、信用评估等。通过更高效地计算Shapley值，可以更好地理解模型的决策过程，提高模型的透明度和可信度，从而促进人工智能在各个领域的应用。
📄 摘要（原文）
Shapley values have become a cornerstone of explainable AI, but they are computationally expensive to use, especially when features are dependent. Evaluating them requires approximating a large number of conditional expectations, either via Monte Carlo integration or regression. Until recently it has not been possible to fully exploit deep learning for the regression approach, because retraining for each conditional expectation takes too long. Tabular foundation models such as TabPFN overcome this computational hurdle by leveraging in-context learning, so each conditional expectation can be approximated without any re-training. In this paper, we compute Shapley values with multiple variants of TabPFN and compare their performance with state-of-the-art methods on both simulated and real datasets. In most cases, TabPFN yields the best performance; where it does not, it is only marginally worse than the best method, at a fraction of the runtime. We discuss further improvements and how tabular foundation models can be better adapted specifically for conditional Shapley value estimation.