Real-Time Explanations for Tabular Foundation Models

📄 arXiv: 2603.29946v1 📥 PDF

作者: Luan Borges Teodoro Reis Sena, Francisco Galuppo Azevedo

分类: cs.LG

发布日期: 2026-03-31

备注: Accepted at the 2nd DATA4Science Workshop at ICLR 2026, Rio de Janeiro, Brazil. OpenReview: https://openreview.net/forum?id=StSMBSZqxx

🔗 代码/项目: GITHUB

💡 一句话要点

提出ShapPFN以解决表格基础模型的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 表格基础模型 Shapley值 机器学习 实时预测 模型架构 高保真解释

📋 核心要点

  1. 现有的解释方法如SHAP计算复杂度高，限制了实时交互式探索的可能性。
  2. ShapPFN通过将Shapley值回归集成到模型架构中，实现了快速生成预测和解释的能力。
  3. 在标准基准测试中，ShapPFN的性能与现有方法相当，同时在解释生成速度上有显著提升。

📝 摘要（中文）

可解释性在科学机器学习中至关重要，理解模型为何做出预测能够促进假设生成与验证。尽管表格基础模型表现优异，现有的解释方法如SHAP计算开销大，限制了交互式探索。本文提出ShapPFN，将Shapley值回归直接集成到模型架构中，实现了在一次前向传播中同时生成预测和解释。在标准基准测试中，ShapPFN在保持竞争性性能的同时，生成高保真解释，其速度比KernelSHAP快1000倍（0.06秒对比610秒）。

🔬 方法详解

问题定义：本文旨在解决表格基础模型的可解释性问题，现有方法如SHAP由于计算复杂度高，无法满足实时交互的需求。

核心思路：ShapPFN通过将Shapley值回归直接集成到模型架构中，使得模型在一次前向传播中同时输出预测结果和解释，从而提高效率。

技术框架：ShapPFN的整体架构包括输入层、特征处理模块、Shapley值回归模块和输出层。特征处理模块负责对输入数据进行预处理，而Shapley值回归模块则直接计算每个特征对最终预测的贡献。

关键创新：ShapPFN的主要创新在于将Shapley值回归嵌入到模型内部，这与传统的后处理方法形成鲜明对比，显著提高了计算效率。

关键设计：模型采用了特定的损失函数以优化预测与解释的准确性，同时在网络结构上进行了优化，以确保在保持高性能的同时，能够快速生成解释。

📊 实验亮点

ShapPFN在标准基准测试中表现出色，生成的解释高保真度（$R^2$=0.96，余弦相似度=0.99），并且其速度比KernelSHAP快1000倍，达到0.06秒，极大提升了实时交互的可能性。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、金融风险评估和其他需要高可解释性的机器学习任务。通过提高模型的可解释性，ShapPFN能够帮助用户更好地理解模型决策，从而在实际应用中增强信任度和透明度。未来，该方法可能会推动更多领域的智能决策支持系统的发展。

📄 摘要（原文）

Interpretability is central for scientific machine learning, as understanding \emph{why} models make predictions enables hypothesis generation and validation. While tabular foundation models show strong performance, existing explanation methods like SHAP are computationally expensive, limiting interactive exploration. We introduce ShapPFN, a foundation model that integrates Shapley value regression directly into its architecture, producing both predictions and explanations in a single forward pass. On standard benchmarks, ShapPFN achieves competitive performance while producing high-fidelity explanations ($R^2$=0.96, cosine=0.99) over 1000\times faster than KernelSHAP (0.06s vs 610s). Our code is available at https://github.com/kunumi/ShapPFN