Xiaomi-TabLDM: A Tabular Foundation Model Technical Report

📄 arXiv: 2609.03880v2 📥 PDF

作者: Xiaomi-TabLDM Team, :, Penghui Wang, Wei Liu, Hong Wang, Chengyue Huang, Yuxi Sun, Zirui Wang, Hongming Huang, Quan Wang, Zhenwei Xin, Ping Hou, Jie Yu, Chunxiao Liu, Erli Meng, Bin Wang

分类: cs.AI

发布日期: 2026-09-03 (更新: 2026-09-04)

💡 一句话要点

提出Xiaomi-TabLDM以提升表格数据预测性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格数据 大数据模型 合成数据 上下文学习 性能优化 机器学习 回归分析

📋 核心要点

  1. 现有方法在表格数据预测中往往需要针对特定任务进行微调，限制了模型的灵活性和效率。
  2. Xiaomi-TabLDM通过在合成数据上进行预训练，结合三阶段训练策略和双流特征分组，提升了模型的特征交互能力。
  3. 在多个基准测试中，Xiaomi-TabLDM在回归任务上表现优异，计算成本显著低于其他顶尖模型，展现了良好的性能-效率平衡。

📝 摘要（中文）

我们介绍了Xiaomi-TabLDM，这是一种用于分类和回归的表格大数据基础模型，通过上下文学习实现卓越的预测准确性，无需特定任务的微调。该模型专门在由结构因果模型生成的合成数据上进行预训练，能够更灵活地利用上下文并高效扩展能力。Xiaomi-TabLDM在多个基准测试中表现出色，结合强大的预测性能和显著降低的计算成本，展示了其在表格数据任务中的广泛适用性。

🔬 方法详解

问题定义：论文旨在解决表格数据预测中现有模型需要特定任务微调的问题，这限制了模型的通用性和效率。

核心思路：通过在合成数据上进行预训练，Xiaomi-TabLDM能够灵活利用上下文信息，并采用三阶段训练策略以增强特征学习能力。

技术框架：整体架构包括合成数据生成、三阶段训练、双流特征分组、轻量级注意力残差模块和稀疏专家混合模型，旨在提高特征交互和专家专门化。

关键创新：最重要的创新在于通过合成数据的广泛覆盖和多样性，结合测试时计算扩展，显著提升了模型的预测性能。

关键设计：模型采用了轻量级的注意力残差结构和稀疏混合专家机制，优化了计算效率，同时在训练过程中使用了特定的损失函数以增强模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，Xiaomi-TabLDM在OpenML-CTR23中排名第一，在TALENT、TabArena和BCCO的回归任务中均表现优异，尤其在TabArena回归中，训练时间减少82%，预测时间减少68%，展现了良好的性能与效率平衡。

🎯 应用场景

该研究的潜在应用领域包括金融预测、医疗数据分析和市场营销等多个需要处理表格数据的行业。Xiaomi-TabLDM的高效性和准确性使其在实际应用中具有显著的价值，能够帮助企业更好地进行数据驱动决策。

📄 摘要（原文）

We introduce Xiaomi-TabLDM, a tabular large data foundation model for classification and regression via in-context learning, which delivers superior prediction accuracy without requiring task-specific fine-tuning. Pretrained exclusively on synthetic data generated from structural causal models (SCMs), our model enables more flexible context utilization and more efficient capacity scaling. i) A new performance standard. Strong regression performance across benchmarks: Xiaomi-TabLDM ranks 1st on OpenML-CTR23 and 2nd on regression across TALENT, TabArena, and BCCO, demonstrating consistently strong regression performance across four complementary benchmark suites. Favorable performance--efficiency trade-off: Xiaomi-TabLDM combines strong predictive performance with substantially lower computational cost. For example, on TabArena regression, it achieves the second-highest Elo while using 82% less training time and 68% less prediction time than the top-ranked TabFM. ii) Large-scale synthetic pretraining. Xiaomi-TabLDM expands the coverage and diversity of synthetic tabular data used for pretraining. We also adopt a three-stage training strategy together with dual-stream feature grouping, lightweight Attention Residual, and sparse Mixture-of-Experts, enabling Xiaomi-TabLDM to learn richer feature interactions and expert specialization across diverse tabular tasks. iii) Test-time scaling. Xiaomi-TabLDM further extends tabular prediction through test-time compute scaling, where allocating additional computation at inference time consistently improves predictive performance over the base model.