Distillation of Tabular Foundation Models into Efficient Predictors

📄 arXiv: 2610.01435v1 📥 PDF

作者: Minho Jeong, Dooho Lee, Jinmo Lee, Jaemin Yoo

分类: cs.LG

发布日期: 2026-10-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出知识蒸馏方法以提高表格基础模型的推理效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 表格基础模型 推理效率 学生模型 预测性能

📋 核心要点

  1. 现有的表格基础模型在推理时依赖于标记上下文，导致推理成本高昂。
  2. 本文提出了一种知识蒸馏方法，通过使用完整的标记训练集作为教师上下文，训练轻量级学生模型。
  3. 实验结果表明，蒸馏后的学生模型在多个数据集上表现优异，推理速度显著提升。

📝 摘要（中文）

表格基础模型（TFMs）通过上下文学习实现了强大的预测性能，但在推理时对标记数据的重复条件化使得成本高昂。知识蒸馏可以通过将预测能力转移到轻量级、数据集特定的学生模型来降低这一成本。本文探讨了教师监督的构建方式及扩展查询覆盖是否改善蒸馏效果。通过对两个TFM及神经网络和树基学生的实验，提出了一种有效的蒸馏方案。该方案使用完整的标记训练集作为教师上下文，仅基于教师预测训练学生模型。实验结果显示，蒸馏后的学生模型在TabArena上超越了经过监督训练的对比模型，并在TALENT上提升了236-258个数据集的表现，同时推理速度提高了3.0-21.6倍。

🔬 方法详解

问题定义：本文旨在解决表格基础模型在推理时对标记数据的依赖性，导致的高推理成本问题。现有方法在处理推理时的效率较低，限制了其实际应用。

核心思路：论文提出的核心思路是通过知识蒸馏，将表格基础模型的预测能力转移到轻量级的学生模型上，以降低推理成本。通过使用完整的标记训练集作为教师上下文，学生模型仅基于教师的预测进行训练。

技术框架：整体架构包括两个主要阶段：首先，使用完整的标记训练集作为教师上下文；其次，训练学生模型，仅依赖于教师对观察和合成查询的预测。该框架适用于神经网络和树基模型。

关键创新：最重要的技术创新在于提出了一种新的蒸馏配方，利用完整的标记训练集作为教师上下文，并通过教师预测指导学生模型的训练。这一方法显著提高了学生模型的性能和推理效率。

关键设计：在设计中，关键参数包括教师上下文的选择和学生模型的训练方式。损失函数设计为最小化学生模型与教师预测之间的差异，确保学生模型能够有效学习教师的知识。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，蒸馏后的学生模型在TabArena上超越了经过监督训练的对比模型，提升幅度达到57-98 Elo点。在TALENT上，蒸馏方法改善了236-258个数据集的表现，且推理速度提高了3.0-21.6倍，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和市场分析等需要处理表格数据的领域。通过提高模型的推理效率，能够在实际应用中降低计算成本，提升决策速度，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Tabular foundation models (TFMs) achieve strong predictive performance through in-context learning, yet repeatedly conditioning on labeled data makes inference expensive. Knowledge distillation can reduce this cost by transferring their predictive ability to lightweight, dataset-specific students. However, the dependence of TFM predictions on both a labeled context and a query introduces two design questions: how to construct teacher supervision and whether expanding query coverage improves distillation. We examine these questions across two TFMs and both neural and tree-based students, and derive an effective distillation recipe. The recipe uses the full labeled training set as teacher context and trains students solely on teacher predictions for observed and synthetic queries. On TabArena, the resulting students outperform their supervised trained tuned-and-ensembled counterparts by 57-98 Elo points. Applied unchanged to TALENT, the same recipe improves matched default students on 236-258 of 300 datasets and reduces median primary error by 4.0-6.4%. The distilled students also achieve median inference speedups of 3.0-21.6 times over their teachers, offering a practical trade-off between predictive performance and repeated inference cost. Code is available at https://github.com/nums-ai/TFM_Distillation .