Efficient Provably Private Classification with a Tabular Foundation Model

📄 arXiv: 2610.10068v1 📥 PDF

作者: Talal Alrawajfeh, Cristiana Diaconu, Ossi Räisä, Sebastian Rodriguez Beltran, Yuan He, John Bronskill, Richard E. Turner, Antti Honkela

分类: cs.LG, cs.CR

发布日期: 2026-10-07

备注: 74 pages, 18 figures; includes supplementary information

💡 一句话要点

提出PrivTab以解决敏感数据分类中的隐私保护问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 表格数据 分类模型 隐私保护 机器学习 上下文学习 高效算法

📋 核心要点

  1. 现有的私有学习方法在强隐私保护下会导致显著的效用损失，且应用复杂。
  2. PrivTab通过在模型架构中嵌入隐私机制，实现了差分隐私分类，能够快速适应新数据集。
  3. PrivTab在中到强隐私下表现优异，数据集拟合时间减少10,000倍，且几乎没有成员泄漏。

📝 摘要（中文）

表格数据在医学、金融、政府和科学等领域的预测和决策中至关重要，但往往包含敏感的个人信息，因此需要在准确预测的同时保护隐私。传统的私有学习方法提供了正式的隐私保障，但需要缓慢的特定数据集优化，且在强隐私下会导致显著的效用损失，且应用起来往往较为复杂。表格基础模型能够快速适应新数据集，但现有模型缺乏正式的隐私保障，并且易受成员推断攻击，限制了其在敏感数据上的应用。本文提出了PrivTab，这是一种易于使用的差分隐私分类的表格基础模型，在其架构中嵌入了隐私机制。PrivTab在模拟数据集上进行预训练，利用上下文学习将敏感行转化为紧凑的、可证明的私有摘要，有效地学习如何在隐私下进行学习。PrivTab在中到强隐私下超越了私有线性和神经网络基线，显示出微不足道的成员泄漏，且在强隐私下保持良好的预测校准，数据集拟合时间减少了10,000倍，仅需一次前向传递。通过结合正式隐私、速度和易用性，PrivTab将近期的AI进展带入了敏感个体数据限制其应用的领域。

🔬 方法详解

问题定义：本文旨在解决在分类任务中保护敏感数据隐私的问题。现有的私有学习方法在强隐私保护下效用损失严重，且难以正确应用。

核心思路：PrivTab通过在模型架构中嵌入差分隐私机制，利用上下文学习将敏感数据转化为可证明的私有摘要，从而实现有效的分类。

技术框架：PrivTab的整体架构包括预训练阶段和上下文学习模块。预训练阶段使用模拟数据集进行训练，而上下文学习模块则负责将敏感行转化为私有摘要。

关键创新：PrivTab的主要创新在于将隐私机制直接嵌入模型架构中，解决了传统方法在隐私保护与效用之间的权衡问题。

关键设计：PrivTab采用了特定的损失函数以平衡隐私和效用，并设计了高效的网络结构以支持快速的前向传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PrivTab在中到强隐私保护下超越了传统的私有线性和神经网络基线，显示出微不足道的成员泄漏，且数据集拟合时间减少了10,000倍，仅需一次前向传递，显著提升了效率和隐私保障。

🎯 应用场景

PrivTab在医疗、金融和政府等领域具有广泛的应用潜力，能够在保护个人隐私的同时提供准确的分类结果。其高效性和易用性使得在敏感数据环境中更容易推广和应用，推动相关领域的技术进步。

📄 摘要（原文）

Tabular data underpin prediction and decision-making in medicine, finance, government and science, but often contain sensitive individual-level information, creating a need for accurate prediction while preserving privacy. Traditional private learning provides formal privacy guarantees, but requires slow dataset-specific optimisation, suffers substantial utility loss under strong privacy, and is often difficult to apply correctly. Tabular foundation models adapt rapidly to new datasets, but existing models lack formal privacy guarantees, and are highly vulnerable to membership-inference attacks, limiting their use on sensitive data. Here we introduce PrivTab, an easy to use tabular foundation model for differentially private classification that embeds a privacy mechanism within its architecture. Pretrained on simulated datasets, PrivTab uses in-context learning to transform sensitive rows into compact, provably private summaries---effectively learning how to learn under privacy. PrivTab outperforms private linear and neural-network baselines under moderate-to-strong privacy, shows negligible membership leakage, maintains well-calibrated predictions under strong privacy, and reduces dataset fitting time by 10,000 times, requiring only a single forward pass. By combining formal privacy, speed, and easy of use, PrivTab brings recent advances in AI to applications where sensitive individual-level data have limited their adoption.