Two Is Enough: Binary Classification Priors Suffice for Multi-Class In-Context Tabular Prediction

📄 arXiv: 2610.27569v1 📥 PDF

作者: Zhixiong Cheng, Shiyuan Han, Jingjing Suo, Zhengli Wang

分类: cs.LG

发布日期: 2026-10-20

💡 一句话要点

提出二分类先验以提升多分类表格预测性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 多分类预测 二分类先验 机器学习 信用评分 模型预训练

📋 核心要点

  1. 现有的表格基础模型在多分类任务中依赖于固定的类别计数，限制了模型的灵活性和效率。
  2. 论文提出将分类先验的类别计数上限设定为二，使得每个预训练任务为二分类，从而简化了模型结构。
  3. 实验结果显示，二分类方案在多个数据集上显著提升了性能，并在真实应用中验证了其有效性。

📝 摘要（中文）

表格基础模型（TFMs）通过在大规模合成先验上预训练变换器，使得单次前向传播能够实现零样本表格预测。TabICLv2在预训练期间对其分类先验的类别计数进行采样，现有配置将其上限设定为十。本文报告了一个反直觉的结果：将此上限直接设定为二，即使每个预训练的分类任务为二分类，仍然能够实现零样本K类分类。在38个TabArena分类数据集上，二阶段的二分类方案达到了1590.1 Elo，超过了官方默认值1568.0和其他基线模型。对60个真实信用评分机构的生产规模验证也独立确认了这一方向，测试AUC在44个机构上有所提升。机制上，TabICLv2中的分类并不是通过固定基数的输出头实现，而是通过上下文比较操作符将查询行嵌入与类条件嵌入进行匹配。

🔬 方法详解

问题定义：本文旨在解决现有表格基础模型在多分类任务中对类别计数的依赖问题，导致模型灵活性不足和效率低下。

核心思路：通过将分类先验的类别计数上限设定为二，论文提出每个预训练任务为二分类，从而简化模型的结构设计，降低生成和缓存的复杂性。

技术框架：整体架构包括预训练阶段和推理阶段。在预训练阶段，模型通过二分类任务学习特征；在推理阶段，模型通过上下文比较操作符匹配查询行嵌入与类条件嵌入。

关键创新：最重要的创新在于将“类别数量”从架构约束降级为可调超参数，使得模型在类别计数上具有更大的灵活性，支持类计数无关的预训练。

关键设计：在模型设计中，采用了动态的输出结构，损失函数和网络结构均围绕二分类任务进行优化，确保在推理时能够灵活应对不同的类别数量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，二分类方案在38个TabArena分类数据集上达到了1590.1 Elo，超出官方默认值1568.0，且在60个真实信用评分机构中，44个机构的测试AUC均有所提升，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和其他需要表格数据分析的行业。通过提升多分类任务的性能，能够为信用评分、风险评估等实际应用提供更准确的预测，进而提高决策质量和效率。

📄 摘要（原文）

Tabular foundation models (TFMs) pretrain a transformer on large-scale synthetic priors so that a single forward pass yields zero-shot tabular prediction. TabICLv2 samples the class count of its classification prior during pretraining, and the prevailing configuration caps it at ten. We report a counter-intuitive result: setting this cap directly to two---making every pretrained classification task binary---still yields weights that perform zero-shot K-way classification 2. On the 38 TabArena classification datasets (200 bootstrap rounds, anchored at default RF = 1000), the binary two-stage recipe reaches 1590.1 Elo, above the official default at 1568.0 (+22.1), above TabPFN-v2.6 (1577.1) and RealTabPFN-v2.5 (1521.6). A production-scale validation on 60 real-world credit-scoring institutions independently confirms the direction: the same checkpoint improves test AUC on 44 of 60 institutions (paired Wilcoxon p = 0.0007 for AUC, p = 0.0002 for KS) at +1.5 inference cost. Mechanistically, classification in TabICLv2 is carried not by a fixed-cardinality output head but by an in-context comparison operator matching query-row embeddings against class-conditional embeddings, so the cardinality of the output space is set by the labels present in the context, not by the label space seen during pretraining. This makes a binary prior structurally cheaper to generate and cache than a ten-class prior, demotes "number of classes" from an architectural constraint to a tunable hyperparameter, and points to a class-count-agnostic regime of TFM pretraining.