TabNSA: Native Sparse Attention for Efficient Tabular Data Learning

📄 arXiv: 2503.09850v2 📥 PDF

作者: Ali Eslamian, Qiang Cheng

分类: cs.LG

发布日期: 2025-03-12 (更新: 2025-06-30)

备注: 26 pages, 11 tables

💡 一句话要点

提出TabNSA，利用原生稀疏注意力高效学习表格数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据学习 稀疏注意力 深度学习 TabMixer 迁移学习 少样本学习 特征选择 模型压缩

📋 核心要点

  1. 表格数据异构性强、结构缺失，传统深度学习方法难以有效建模。
  2. TabNSA利用原生稀疏注意力动态关注相关特征子集，降低计算复杂度。
  3. 实验表明TabNSA在监督学习和迁移学习中优于现有方法，并能有效解决少样本学习问题。

📝 摘要（中文）

表格数据由于其异构特征类型、缺乏空间结构以及通常有限的样本量，给深度学习带来了独特的挑战。我们提出了TabNSA，一种新颖的深度学习框架，它将原生稀疏注意力（NSA）与TabMixer主干网络相结合，以高效地建模表格数据。TabNSA通过动态地关注每个实例的相关特征子集来解决计算和表示挑战。NSA模块采用分层稀疏注意力机制，包括token压缩、选择性保留和局部滑动窗口，以显著降低标准注意力操作的二次复杂度，同时解决特征异构性。作为补充，TabMixer主干网络通过具有独立参数的并行多层感知器（MLP）分支来捕获复杂的非线性依赖关系。这些模块通过逐元素求和和均值池化协同组合，使TabNSA能够建模全局上下文和细粒度交互。在监督学习和迁移学习设置中进行的大量实验表明，TabNSA始终优于最先进的深度学习模型。此外，通过使用微调的大型语言模型（LLM）增强TabNSA，我们使其能够通过对各种表格基准进行语言引导的泛化来有效地解决少样本学习挑战。

🔬 方法详解

问题定义：表格数据具有异构的特征类型，缺乏空间结构，并且通常样本量有限，这使得传统的深度学习方法难以有效地建模表格数据中的复杂关系。现有方法，如直接应用Transformer，计算复杂度高，难以处理大规模表格数据，并且忽略了表格数据的固有特性。

核心思路：TabNSA的核心思路是利用原生稀疏注意力（NSA）机制，动态地选择每个实例相关的特征子集，从而降低计算复杂度，并关注重要的特征交互。同时，结合TabMixer主干网络，利用MLP分支捕获特征之间的非线性依赖关系。通过这种方式，TabNSA能够高效地建模表格数据，并提取有用的特征表示。

技术框架：TabNSA的整体架构包括两个主要模块：原生稀疏注意力（NSA）模块和TabMixer主干网络。NSA模块首先对输入特征进行token压缩，然后通过选择性保留和局部滑动窗口机制，实现稀疏注意力计算。TabMixer主干网络则由多个并行的MLP分支组成，每个分支独立学习特征表示。最后，NSA模块和TabMixer主干网络的输出通过逐元素求和和均值池化进行融合。

关键创新：TabNSA最重要的技术创新点在于原生稀疏注意力（NSA）机制。与传统的全局注意力机制不同，NSA通过token压缩、选择性保留和局部滑动窗口，显著降低了计算复杂度，使其能够处理大规模表格数据。此外，NSA还能够动态地关注每个实例相关的特征子集，从而更好地捕捉特征之间的交互关系。

关键设计：NSA模块的关键设计包括：1) Token压缩：通过线性变换将输入特征压缩到较低的维度，减少计算量。2) 选择性保留：根据特征的重要性，选择性地保留一部分特征，进一步降低计算复杂度。3) 局部滑动窗口：在局部窗口内计算注意力，减少全局依赖的计算量。TabMixer主干网络的关键设计在于使用多个并行的MLP分支，每个分支具有独立的参数，从而能够学习不同的特征表示。损失函数采用交叉熵损失或均方误差损失，具体取决于任务类型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TabNSA在多个表格数据集上取得了显著的性能提升。在监督学习任务中，TabNSA优于现有的深度学习模型，如TabTransformer和NODE。在迁移学习任务中，TabNSA也表现出良好的泛化能力。此外，通过结合大型语言模型，TabNSA在少样本学习任务中取得了令人瞩目的成果，证明了其强大的学习能力。

🎯 应用场景

TabNSA具有广泛的应用前景，包括金融风控、医疗诊断、推荐系统等领域。它可以用于构建更准确、更高效的表格数据模型，从而提高决策的准确性和效率。此外，TabNSA还可以应用于迁移学习和少样本学习场景，解决数据稀缺的问题，具有重要的实际价值和未来影响。

📄 摘要（原文）

Tabular data poses unique challenges for deep learning due to its heterogeneous feature types, lack of spatial structure, and often limited sample sizes. We propose TabNSA, a novel deep learning framework that integrates Native Sparse Attention (NSA) with a TabMixer backbone to efficiently model tabular data. TabNSA tackles computational and representational challenges by dynamically focusing on relevant feature subsets per instance. The NSA module employs a hierarchical sparse attention mechanism, including token compression, selective preservation, and localized sliding windows, to significantly reduce the quadratic complexity of standard attention operations while addressing feature heterogeneity. Complementing this, the TabMixer backbone captures complex, non-linear dependencies through parallel multilayer perceptron (MLP) branches with independent parameters. These modules are synergistically combined via element-wise summation and mean pooling, enabling TabNSA to model both global context and fine-grained interactions. Extensive experiments across supervised and transfer learning settings show that TabNSA consistently outperforms state-of-the-art deep learning models. Furthermore, by augmenting TabNSA with a fine-tuned large language model (LLM), we enable it to effectively address Few-Shot Learning challenges through language-guided generalization on diverse tabular benchmarks.