From Supervised to Generative: A Novel Paradigm for Tabular Deep Learning with Large Language Models

📄 arXiv: 2310.07338v4 📥 PDF

作者: Xumeng Wen, Han Zhang, Shun Zheng, Wei Xu, Jiang Bian

分类: cs.LG

发布日期: 2023-10-11 (更新: 2024-07-11)

备注: Accepted by KDD 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出生成性表格学习框架以解决传统表格深度学习的局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成性学习 表格数据 大型语言模型 零-shot学习 上下文学习 预测建模 数据泛化

📋 核心要点

  1. 现有的表格深度学习方法未能充分解决知识转移和有限数据泛化的挑战。
  2. 本文提出的生成性表格学习（GTL）框架，结合了大型语言模型的零-shot泛化和上下文学习能力。
  3. GTL增强的LLaMA-2模型在384个数据集上表现出色，超越传统方法，且无需微调。

📝 摘要（中文）

表格数据在医疗、金融、零售和可持续发展等多个关键行业中是预测建模的基础。尽管专用模型取得了一定进展，但对能够转移知识、从有限数据中泛化并遵循人类指令的通用模型的需求日益增加。本文提出生成性表格学习（GTL）框架，将大型语言模型（LLMs）的先进功能整合到表格深度学习中。GTL利用LLMs在多样化表格数据上的预训练，增强了其对领域特定知识、数值序列和统计依赖关系的理解。通过对384个公共数据集的实证研究，GTL在多个分类和回归任务中展示了优越的零-shot和上下文学习能力，且无需微调，超越传统方法，并在某些情况下与最先进的模型如GPT-4相媲美。

🔬 方法详解

问题定义：本文旨在解决现有表格深度学习方法在知识转移、有限数据泛化和人类指令遵循方面的不足。这些挑战使得传统模型在实际应用中受到限制。

核心思路：生成性表格学习（GTL）框架通过整合大型语言模型（LLMs）的先进功能，利用其在多样化表格数据上的预训练，提升对领域知识和统计依赖的理解，从而实现更好的预测性能。

技术框架：GTL的整体架构包括数据预处理、模型预训练和任务适应三个主要模块。首先，对表格数据进行标准化处理；然后，利用LLMs进行预训练；最后，通过上下文学习和零-shot学习进行任务适应。

关键创新：GTL的核心创新在于将LLMs的能力与表格数据理解相结合，形成了一种新的学习范式。这种方法与传统的微调方法本质上不同，后者依赖于大量标注数据。

关键设计：在GTL中，模型的参数设置和损失函数经过精心设计，以适应表格数据的特性。此外，采用了特定的网络结构，以优化LLMs在表格数据上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GTL增强的LLaMA-2模型在384个公共数据集上表现出色，展示了优越的零-shot和上下文学习能力。与传统方法相比，GTL在多个分类和回归任务中实现了显著的性能提升，且在某些情况下与GPT-4等最先进模型相媲美。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融、零售和可持续发展等行业，能够帮助企业在有限数据情况下进行有效的预测建模。通过提高模型的泛化能力和理解能力，GTL有望在实际应用中带来显著的价值，推动行业的智能化发展。

📄 摘要（原文）

Tabular data is foundational to predictive modeling in various crucial industries, including healthcare, finance, retail, sustainability, etc. Despite the progress made in specialized models, there is an increasing demand for universal models that can transfer knowledge, generalize from limited data, and follow human instructions. These are challenges that current tabular deep learning approaches have not fully tackled. Here we introduce Generative Tabular Learning (GTL), a novel framework that integrates the advanced functionalities of large language models (LLMs)-such as prompt-based zero-shot generalization and in-context learning-into tabular deep learning. GTL capitalizes on the pre-training of LLMs on diverse tabular data, enhancing their understanding of domain-specific knowledge, numerical sequences, and statistical dependencies critical for accurate predictions. Our empirical study spans 384 public datasets, rigorously analyzing GTL's convergence and scaling behaviors and assessing the impact of varied data templates. The GTL-enhanced LLaMA-2 model demonstrates superior zero-shot and in-context learning capabilities across numerous classification and regression tasks. Notably, it achieves this without fine-tuning, outperforming traditional methods and rivaling state-of-the-art models like GPT-4 in certain cases. Through GTL, we not only foster a deeper integration of LLMs' sophisticated abilities into tabular data comprehension and application but also offer a new training resource and a test bed for LLMs to enhance their ability to comprehend tabular data. To facilitate reproducible research, we release our code, data, and model checkpoints at https://github.com/microsoft/Industrial-Foundation-Models.