$λ$-JEPA Spectral Anti-Collapse Regularization for Self-Supervised Learning

📄 arXiv: 2609.35288v1 📥 PDF

作者: Berker Demirel, Clémentine Dominé, Valentino Maiorca, Marco Fumero, Marco Mondelli, Francesco Locatello

分类: cs.LG, cs.CV

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出SACReg以解决自监督学习中的表示崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 表示崩溃 谱正则化 图像分类 迁移学习

📋 核心要点

  1. 现有的联合嵌入自监督学习方法在防止表示崩溃方面存在不足，导致主干表示的有效秩较低，限制了下游任务的迁移能力。
  2. 论文提出了SACReg，一种基于$λ$-平衡的谱反崩溃正则化器，旨在通过捕捉层间权重矩阵的相对规模来防止表示崩溃。
  3. 实验结果表明，$λ$-JEPA在ImageNet-1k分类和多个下游数据集上均优于现有方法，显著提高了表示的有效秩和迁移性能。

📝 摘要（中文）

联合嵌入自监督学习通常结合了跨增强视图的不变性目标和防止表示崩溃的附加机制。这些目标通常在投影头之后应用，而下游任务使用的是投影器之前的主干表示。我们发现这种不匹配并不一定能防止主干中的维度崩溃，可能会限制下游迁移。为此，我们引入了SACReg，一种基于$λ$-平衡分析的谱反崩溃正则化器，能够捕捉层间权重矩阵的相对规模。在两层线性网络中，我们证明了$λ$-平衡可以防止崩溃，并且我们的正则化器应用于主干可以诱导$λ$-平衡。在非线性情况下，该正则化器同样导致反崩溃，并在ImageNet100的真实架构中实证提高了表示的秩。我们将SACReg应用于JEPA，提出了$λ$-JEPA，在ImageNet-1k分类和八个下游图像数据集的平均线性探测迁移性能上超越了LeJEPA和VISReg。

🔬 方法详解

问题定义：本论文旨在解决联合嵌入自监督学习中表示崩溃的问题，现有方法在主干表示与投影器之间的不匹配可能导致低有效秩，从而限制下游任务的迁移能力。

核心思路：论文的核心思路是引入SACReg正则化器，通过$λ$-平衡分析来捕捉层间权重矩阵的相对规模，从而防止表示崩溃。该设计旨在增强主干表示的有效秩。

技术框架：整体架构包括一个两层线性网络，SACReg正则化器应用于主干表示，确保$λ$-平衡的实现。该框架在非线性情况下同样适用，能够有效防止崩溃。

关键创新：最重要的技术创新点在于引入了$λ$-平衡的概念，并通过SACReg正则化器实现了这一目标，与现有方法相比，提供了一种新的防止表示崩溃的机制。

关键设计：在设计中，SACReg正则化器的参数设置和损失函数经过精心调整，以确保在不同网络架构中均能有效提升表示的有效秩。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

$λ$-JEPA在ImageNet-1k分类任务中相较于LeJEPA和VISReg取得了显著提升，平均线性探测迁移性能在八个下游图像数据集上也表现优异。此外，在视频自监督学习中，$λ$-JEPA在Something-Something-v2和Kinetics-400基准上超越了LeVJEPA和V-JEPA 2。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分类、视频理解等任务，能够显著提升自监督学习模型在下游任务中的表现。未来，该方法可能对多模态学习和其他自监督学习场景产生积极影响。

📄 摘要（原文）

Joint-embedding self-supervised learning typically combines an invariance objective across augmented views with additional mechanisms to prevent representational collapse. These objectives are often applied after a projection head, while downstream tasks use the backbone representation before the projector. We find that this mismatch does not necessarily prevent dimensional collapse in the backbone, which can retain low effective rank and potentially limit downstream transfer. To address this, we introduce SACReg, a spectral anti-collapse regularizer motivated by an analysis of $λ$-balance, which captures the relative scale of weight matrices across layers. In a two-layer linear network, we show that (i) $λ$-balance prevents collapse, and (ii) our regularizer applied to the backbone induces $λ$-balance. In the nonlinear case, this regularizer leads to anti-collapse as well and, in realistic architectures on ImageNet100, it empirically increases the representations' ranks. We apply SACReg to JEPA and propose $λ$-JEPA, which improves over LeJEPA and VISReg on ImageNet-1k classification and in average linear-probe transfer performance across eight downstream image datasets. On video self-supervised learning, $λ$-JEPA improves over LeVJEPA and V-JEPA 2 on the Something-Something-v2 and Kinetics-400 benchmarks. Code is available at https://github.com/berkerdemirel/lambda-jepa.