On Data Scaling in Tabular ML: More Data, Better Generalization?

📄 arXiv: 2610.26794v1 📥 PDF

作者: Ivan Rubachev, Nikita Lazarev, Artem Babenko

分类: cs.LG

发布日期: 2026-10-19

备注: Code at: https://github.com/yandex-research/tabular-dl-more-data

💡 一句话要点

研究数据扩展在表格机器学习中的影响与挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格机器学习 数据扩展 模型性能 分布转移 GBDT MLP 基础模型

📋 核心要点

  1. 现有的表格机器学习方法在大规模数据集上的研究较少，尤其是在分布转移的情况下，模型性能的变化未得到充分探讨。
  2. 本文通过汇集多个真实数据集，研究了训练数据扩展对模型性能的影响，特别是GBDT、MLP和表格基础模型的表现差异。
  3. 实验结果表明，MLP在使用与评估条件一致的验证数据时，随着训练数据的增加，性能通常保持或提升，而基础模型在大规模数据下性能可能下降。

📝 摘要（中文）

近年来，表格机器学习领域强调多样化和现实的评估设置。然而，大规模（超过100万条）数据的研究仍然较少。本文通过汇集八个真实世界的表格数据集，探讨了训练数据扩展的影响。研究发现，GBDT和基于MLP的模型在扩展趋势上表现相似，均受益于额外的训练数据和算法改进。表格基础模型在扩展行为上则更为多样，尤其在分布转移下表现出更一致的收益。尽管如此，数据扩展在分布转移下带来了新的挑战，尤其是在小规模下，模型的在分布和出分布性能通常同步提升，但在大规模下可能出现分歧。通过MLP容量扫描和验证分布的比较，本文深入分析了这些现象。

🔬 方法详解

问题定义：本文旨在探讨在表格机器学习中，训练数据扩展对模型性能的影响，尤其是在分布转移的情况下，现有方法在大规模数据集上的表现尚不明确。

核心思路：通过汇集多个真实世界的数据集，保留任务的自然分布变化，使用随机划分评估作为对照，分析不同模型在数据扩展下的表现差异。

技术框架：研究包括数据集的构建、模型训练与评估、以及对比分析。主要模块包括数据集准备、模型选择（GBDT、MLP、表格基础模型）、性能评估及结果分析。

关键创新：本文的创新在于系统性地研究了大规模数据集下不同模型的扩展行为，尤其是在分布转移条件下的表现差异，填补了这一领域的研究空白。

关键设计：在实验中，采用了MLP容量扫描和不同验证分布的比较，重点关注模型选择和早停策略的设计，以确保模型在训练和评估阶段的一致性。具体参数设置和损失函数的选择也进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MLP在使用与评估条件一致的验证数据时，随着训练数据的增加，性能保持或提升，而基础模型在大规模数据下性能可能下降。具体而言，MLP在小规模数据集上的在分布和出分布性能同步提升，但在大规模数据集上则出现分歧，显示出数据扩展的复杂性。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和市场分析等需要处理大规模表格数据的行业。通过优化模型在大规模数据集上的表现，能够提高预测的准确性和可靠性，进而推动相关领域的决策支持和智能化进程。

📄 摘要（原文）

Recent work in tabular machine learning has emphasized the importance of diverse and realistic evaluation settings. The niche of large-scale (1M+) data, however, remains under-explored. To study training-data scaling, we assemble eight real-world tabular datasets with up to around ten million training examples, retaining the natural distribution shifts of the tasks and using random-split evaluation as a control. We find that GBDTs and MLP-based models show broadly similar scaling trends, with gains from both additional training data and algorithmic improvements. Tabular foundation models show more varied scaling behavior, with recent versions benefiting more consistently from larger contexts even under distribution shift. However, scaling training data under distribution shift introduces new challenges: in-distribution and out-of-distribution performance mostly improve together at smaller scales but can diverge at larger scales. We examine this through MLP capacity sweeps and comparisons of the validation distributions used for tuning and early stopping in MLPs and GBDTs. We also compare common practices of using validation data, contrasting its use for model selection in MLP pipelines with using it for in-context fitting in tabular foundation model pipelines. Under stronger shifts, MLPs selected using validation representative of the evaluation conditions generally maintain or improve performance as training data grows. In contrast, including such examples in context improves foundation-model performance, but does not prevent deterioration with increasing training size in our experiments.