Toward Privileged Foundation Models:LUPI for Accelerated and Improved Learning

📄 arXiv: 2605.07799v1 📥 PDF

作者: Xueying Ding, Leman Akoglu

分类: cs.LG, cs.AI

发布日期: 2026-05-08

💡 一句话要点

提出PIQL框架：利用特权信息（PI）加速表格基础模型（TFMs）的训练并提升泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 特权信息学习 模型预训练 表征学习 计算效率 泛化能力

📋 核心要点

  1. 现有表格基础模型训练面临计算成本高昂、收敛速度慢以及在有限数据下泛化能力不足的挑战。
  2. 提出PIQL框架，通过引入数据集统计特征与数据生成程序编码作为特权信息，引导模型学习更优表征。
  3. 实验表明，该方法在保持模型性能的同时显著提升了收敛速度，并降低了对大规模数据和计算资源的依赖。

📝 摘要（中文）

训练基础模型通常计算密集且收敛缓慢。本文引入了PIQL（Privileged Information for Quick and Quality Learning），这是首个系统性整合特权信息（PI）以同时加速学习并提升表格基础模型（TFMs）泛化能力的框架。我们构建了两种互补的PI形式：(i) 减少上下文学习负担的聚合数据集级统计信息；(ii) 超越可观测数据、揭示底层数据生成程序的编码。此外，我们设计了一种架构，通过在推理阶段学习从观测上下文重构PI，从而有效迁移仅在训练时可用的特权信息。理论分析表明，在有限数据条件下，PI能有效缩小总体近似差距并加速收敛。实证结果显示，PIQL使TFMs实现了更快的收敛速度、更低的最终损失及更好的泛化性能，显著降低了数据与计算需求。该工作确立了以PI引导的预训练作为提升基础模型效率与性能的原则性范式。

🔬 方法详解

问题定义：论文旨在解决表格基础模型（TFMs）在预训练阶段计算效率低下及泛化能力受限的问题。现有方法往往仅依赖观测到的输入数据，忽略了训练过程中可获取的辅助性“特权信息”（Privileged Information, PI）。

核心思路：引入Vapnik的特权信息学习（LUPI）范式，将训练时可获取但推理时不可见的辅助信息融入模型训练。通过将PI作为监督信号或辅助任务，引导模型学习到更具鲁棒性和泛化性的特征空间。

技术框架：PIQL框架包含两个核心模块：PI构建模块和PI迁移模块。首先，提取数据集统计量与数据生成程序编码作为PI；其次，设计一个双流或多任务架构，在训练时利用PI进行约束，并引入重构机制，使模型在推理时能仅凭观测上下文推断出隐含的PI特征。

关键创新：首次将PI引入表格基础模型领域，并提出了两种互补的PI构建方式。创新性地设计了“推理时重构”机制，解决了PI仅在训练时可见的限制，实现了特权知识的有效迁移。

关键设计：采用了基于重构损失（Reconstruction Loss）的训练策略，强制模型学习从观测数据映射到PI空间的函数。理论上证明了在有限样本下，PI通过降低近似误差界限，能够显著加速模型收敛并提升泛化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验证明PIQL在多个基准测试中表现优异。相比传统预训练方法，PIQL在达到相同损失值时收敛速度显著加快，且在测试集上的泛化误差更低。在有限数据实验中，该方法有效缓解了过拟合，证明了特权信息在提升模型数据效率方面的巨大潜力。

🎯 应用场景

该研究适用于金融风控、医疗诊断、工业预测等数据稀缺或计算资源受限的表格数据场景。通过利用训练阶段的特权信息（如专家经验、底层生成逻辑），可显著提升模型在小样本环境下的预测精度，降低企业部署基础模型的算力成本。

📄 摘要（原文）

Training foundation models is computationally intensive and often slow to converge.We introduce PIQL,Privileged Information for Quick and Quality Learning, the first framework to systematically integrate privileged information (PI) to simultaneously accelerate learning and improve generalization in tabular foundation models (TFMs). We construct two complementary forms of PI: (i) aggregate dataset-level statistics that reduce the burden on in-context learning, and (ii) encodings of the underlying data-generating program, providing knowledge beyond observable data. We further design an architecture that effectively transfers the train-time-only PI by learning to reconstruct it from observed context at inference. We provide a theoretical analysis characterizing conditions under which PI reduces the population-level approximation gap and accelerates convergence in finite-data regimes. Empirical evidence shows that PIQL enables TFMs to achieve faster convergence, lower final loss, and better generalization, in effect, reducing data and compute requirements. Our work establishes PI-guided pretraining as a principled and practical paradigm for improving the efficiency and performance of foundation models.