SelectPFN: Amortized Bayesian Variable Selection for Sparse Nonlinear Regression with Prior-Data Fitted Networks

📄 arXiv: 2610.21950v1 📥 PDF

作者: Bin Luo

分类: stat.ML, cs.LG

发布日期: 2026-10-15

💡 一句话要点

提出SelectPFN以解决稀疏非线性回归中的变量选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 贝叶斯变量选择 稀疏非线性回归 先前数据拟合网络 模型可解释性 假发现率控制

📋 核心要点

  1. 现有的PFNs模型无法明确指出预测依赖的输入变量，限制了其可解释性和应用范围。
  2. SelectPFN通过联合贝叶斯变量选择和预测，能够在一次前向传播中返回每个变量的后验包含概率，提升了模型的可解释性。
  3. 在多项实验中，SelectPFN在精确-召回曲线下的面积比Lasso等基线模型提高了0.23-0.28，显示出其优越的性能。

📝 摘要（中文）

基于先前数据拟合网络（PFNs）的表格基础模型在新数据集上进行预测时，无法报告其预测依赖的输入。本文提出SelectPFN，一种同时进行贝叶斯变量选择和预测的PFN，适用于稀疏非线性回归。该模型在一次前向传播中返回每个变量的后验包含概率，并且其预测仅基于采样的子集计算，确保被排除的变量不会影响预测。我们展示了这一点正是贝叶斯模型所规定的。该网络在围绕组尖峰和板条稀疏输入神经网络构建的元先验上进行了一次预训练。

🔬 方法详解

问题定义：本文旨在解决稀疏非线性回归中变量选择的挑战，现有方法无法有效识别对预测有影响的输入变量，导致可解释性不足。

核心思路：SelectPFN通过在一次前向传播中同时进行贝叶斯变量选择和预测，确保仅基于相关变量进行计算，从而提高了模型的可解释性和准确性。

技术框架：SelectPFN的整体架构包括预训练阶段和前向传播阶段。在预训练阶段，模型在合成任务上进行训练，以构建元先验；在前向传播阶段，模型返回每个变量的后验包含概率，并基于采样的子集进行预测。

关键创新：SelectPFN的主要创新在于其能够在一次前向传播中实现变量选择和预测的联合处理，且通过列置换等技术实现了精确的假发现率控制，这在现有方法中是前所未有的。

关键设计：模型设计中采用了列置换等技术以确保假发现率控制，损失函数和网络结构经过精心设计以适应稀疏输入的特点，确保在高维数据中仍能保持良好的性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

SelectPFN在非先验非线性设计中表现出色，p值高达500时，其精确-召回曲线下的面积比Lasso、BART、DART等模型提高了0.23-0.28，假发现比例约为0.07，且每个数据集的处理时间仅为0.04秒，显示出显著的性能优势。

🎯 应用场景

SelectPFN的研究成果在多个领域具有广泛的应用潜力，尤其是在生物信息学、金融风险评估和市场营销等需要进行变量选择和预测的场景中。其可解释性和高效性使其成为处理复杂数据集的理想工具，未来可能推动相关领域的研究和应用进展。

📄 摘要（原文）

Tabular foundation models based on prior-data fitted networks (PFNs) predict on a new data set in a single forward pass, but they cannot report which inputs their predictions depend on. We propose SelectPFN, a PFN that performs Bayesian variable selection and prediction jointly for sparse nonlinear regression. In one forward pass it returns posterior inclusion probabilities for every variable, and its predictions are computed from sampled subsets only, so excluded variables provably cannot affect them; we show this is exactly what the Bayesian model prescribes. The network is pretrained once on synthetic tasks from a meta-prior built around a group spike-and-slab sparse-input neural network. Column-permutation equivariance combined with random interleaving of original and knockoff columns yields knockoff statistics with exact finite-sample false discovery rate control, even when the meta-prior is wrong. We develop theory for amortized selection: a Bayes-regret bound for the amortized median probability model, a characterization showing that the information needed to detect a variable grows like $(2/λ)\log(1/ω)$ in the prior weight $ω$ of structures that can use it, where $λ\le1$ is an efficiency, and a negative result showing that average-case training does not transfer to frequentist guarantees at a fixed truth. On out-of-prior nonlinear designs with p up to 500, SelectPFN improves the area under the precision-recall curve by 0.23-0.28 over the lasso, BART, DART, LassoNet and a group-penalized sparse neural network, at a false discovery proportion of about 0.07 and 0.04 seconds per data set. The advantage persists on real covariate matrices, and, as the theory predicts, detection of interaction-only variables rises monotonically with their prior weight.