A JEPA Recipe for Tabular Foundation Models

📄 arXiv: 2609.25541v1 📥 PDF

作者: Mingyu Jeon, Suwan Cho, Jae Young Suh

分类: cs.LG, cs.AI

发布日期: 2026-09-22

备注: 16 pages, 5 figures

💡 一句话要点

提出JEPA架构以提升表格基础模型的预测能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 JEPA架构 自监督学习 潜在项优化 数据集评估

📋 核心要点

  1. 现有的表格基础模型在训练过程中，潜在项容易崩溃，导致模型性能下降。
  2. 本文提出的JEPA架构通过调整损失函数和训练策略，确保潜在项在收敛时保持有效。
  3. 实验结果显示，JEPA在多个数据集上表现优于传统的仅值模型，尤其在回归任务中提升明显。

📝 摘要（中文）

表格基础模型旨在上下文中预测单元格值，而世界模型自监督则要求在表示空间中进行预测。本文提出了一种JEPA架构的配方，使得潜在项在收敛过程中得以保留。该方法通过让值头读取编码器字段而非预测器，并使用指数移动平均（EMA）差异作为目标，克服了早期实验中潜在项崩溃的问题。实验结果表明，JEPA架构在147个真实数据集上的表现优于仅值模型，分类任务的胜率为32:70，回归任务的胜率为8:24，尽管JEPA需要更多的训练步骤和时间。

🔬 方法详解

问题定义：本文旨在解决表格基础模型在训练过程中潜在项崩溃的问题。现有方法在早期实验中发现，潜在项的崩溃导致编码器映射为常数，影响模型的预测能力。

核心思路：论文提出了一种新的JEPA架构，通过让值头读取编码器字段而非预测器，并使用EMA差异作为目标，确保潜在项在训练过程中能够有效收敛。

技术框架：整体架构包括两个主要部分：JEPA臂和仅值臂。两者在训练过程中并行进行，直到达到一个平台规则停止训练。

关键创新：最重要的技术创新在于通过调整损失函数和训练策略，使得潜在项能够在收敛过程中保持有效，避免了早期崩溃的问题。

关键设计：在参数设置上，JEPA臂需要1.42倍于仅值臂的训练步骤，1.66倍的墙钟时间来达到收敛。训练过程中没有固定的步长预算，而是根据性能提升动态调整。实验中采用了147个真实数据集进行评估。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，JEPA架构在147个真实数据集上的分类任务中以32:70的胜率优于仅值模型，而在回归任务中胜率为8:24。尽管JEPA需要更多的训练步骤和时间，但其在性能上的提升证明了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融数据分析、医疗数据处理和市场研究等领域，能够有效提升表格数据的预测精度。随着数据量的增加和复杂性的提升，JEPA架构的设计理念有望在更多实际场景中得到应用，推动相关领域的智能化发展。

📄 摘要（原文）

Tabular foundation models learn to predict cell values in context, whereas world-model self-supervision asks for prediction in representation space (LeCun, 2022; Assran et al., 2023). On a tabular foundation-model prior, the latent term of a joint-embedding predictive architecture (JEPA) collapsed in our earlier runs and took the encoder with it to a constant map. We report a recipe under which the latent term survives to convergence beside the value objective: the value head reads the encoder field rather than the predictor, and the target is an exponential moving average (EMA) difference. To bound its cost against the value-only arm, both arms train until a plateau rule stops them, with no fixed step budget. A fixed horizon had confounded a slowdown with a ceiling, since the value-only arm was still improving well past the usual budget. At convergence, in one run per arm, the JEPA arm trails the value-only arm across 147 real datasets, 32:70 wins to losses on classification (29:63 with one entry per dataset name) and 8:24 on regression, the margin small on classification and wider on regression, and the count leans the same way in each stratum and each benchmark. The JEPA arm (jepa) needs 1.42 times as many steps as the value-only arm (ds), and 1.66 times its wall-clock, to reach its plateau.