Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures

📄 arXiv: 2610.02344v1 📥 PDF

作者: José Lucas De Melo Costa, Seong Woo Ahn, Fabrice Popineau, Arpad Rimmel, Bich-Liên Doan

分类: cs.LG

发布日期: 2026-10-01

备注: Accepted at NeurIPS 2026 (Main Track). 57 pages, 10 pages of main text; appendices and the NeurIPS paper checklist included. Code: https://github.com/jose-melo/drive-vs-decay

🔗 代码/项目: GITHUB

💡 一句话要点

提出早期训练稳定性理论以解决JEPAs的表示崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联合嵌入 预测架构 训练稳定性 表示崩溃 机器学习 深度学习 模型优化

📋 核心要点

  1. JEPA在训练过程中容易出现表示崩溃，现有的经验性启发式方法不足以全面解决这一问题。
  2. 本文提出了一种新的早期训练稳定性理论，通过分析驱动力和衰减效应的竞争关系来统一现有的启发式方法。
  3. 引入ResidualPred预测器后，模型在多个数据集上的有效秩和下游准确性均有显著提升，验证了理论的有效性。

📝 摘要（中文）

联合嵌入预测架构（JEPA）容易出现表示崩溃，通常通过经验启发式方法进行缓解。本文发展了一种统一这些启发式方法的早期训练稳定性理论。通过线性化耦合JEPA梯度流，揭示了驱动力和衰减效应的竞争关系。该框架预测了一个相位边界，并在超过800个表格JEPA配置中进行了实证验证。此外，本文还引入了ResidualPred，一个在初始化时偏向于身份的变换预测器，显著提高了表格基准测试和CIFAR-10、CIFAR-100、STL-10及ImageNet的下游准确性。

🔬 方法详解

问题定义：本文解决的是联合嵌入预测架构（JEPA）在训练过程中出现的表示崩溃问题。现有方法主要依赖经验启发式，缺乏理论支持，导致效果不稳定。

核心思路：通过线性化耦合JEPA的梯度流，揭示了驱动力和衰减效应之间的竞争关系，从而提出了一种早期训练稳定性理论，统一了多种启发式方法。

技术框架：该框架包括对JEPA的梯度流进行线性化分析，计算稳定性比率，并通过相位边界的预测进行实证验证。主要模块包括数据侧和预测器侧的独立项分析。

关键创新：最重要的创新在于将经验性崩溃避免启发式与明确的动态模型相连接，提供了理论驱动的稳定器，显著提升了模型的训练稳定性。

关键设计：ResidualPred预测器的设计中，注意力机制在初始化时偏向于身份，优化了模型的有效秩和下游任务的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ResidualPred在多个基准测试中显著提高了有效秩和下游准确性。在CIFAR-10、CIFAR-100、STL-10和ImageNet上，模型的性能提升幅度超过了现有基线，验证了理论的有效性。

🎯 应用场景

该研究的潜在应用领域包括表格数据分析、图像分类等多个机器学习任务。通过提高模型的训练稳定性和准确性，能够在实际应用中提升数据处理效率和结果可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Joint-Embedding Predictive Architectures (JEPAs) are prone to representation collapse, typically mitigated through empirical heuristics. We develop an early-training stability theory that unifies these heuristics. Linearising the coupled JEPA gradient flow around the trivial fixed point reveals two competing effects: a driving force ($γ$) and a decay effect ($σ$). Under approximate spectral decoupling, a per-mode stability ratio $μ_i = γ_i / σ_i$ factorises into independent data-side and predictor-side terms and the count of unstable modes tracks the rank of representations that can emerge. The framework predicts a phase boundary, which we confirm empirically across more than 800 Tabular-JEPA configurations. It also unifies predictor scaling, masking ratio, and EMA as distinct mechanisms for shifting $μ$. Guided by this analysis, we introduce ResidualPred, a transformer predictor whose attention is biased toward the identity at initialisation; it improves both effective rank and downstream accuracy on tabular benchmarks and in I-JEPA pretraining on CIFAR-10, CIFAR-100, STL-10, and ImageNet. Our framework connects empirical collapse-avoidance heuristics to an explicit dynamical picture, yielding theory-driven stabilizers. Code is available at https://github.com/jose-melo/drive-vs-decay.