LocaLeJEPA: Maximum Entropy Representations under Geometric Priors

📄 arXiv: 2610.28458v1 📥 PDF

作者: Kartik Tandon, Alessio Borgi, Pavel Snopov, Inés García-Redondo, Davide D'Ascenzo, Sebastiano Cultrera di Montesano, Fabrizio Silvestri, Pietro Liò, Francesca Dominici, Randall Balestriero, Claudio Battiloro

分类: cs.LG, cs.CV

发布日期: 2026-10-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出LocaLeJEPA以解决JEPA方法中的表示崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 几何先验 分布匹配 流形理论 计算机视觉 图像分类 深度学习

📋 核心要点

  1. 现有的JEPA方法容易导致表示崩溃，无法有效利用数据的几何特性。
  2. LocaLeJEPA通过引入局部欧几里得分布匹配正则化器，解决了LeJEPA的局限性。
  3. 在ImageNet-1K数据集上，LocaLeJEPA在多个模型上均显著提升了分类性能。

📝 摘要（中文）

联合嵌入预测架构（JEPA）为自监督学习提供了一种吸引人的方法，但通常容易导致表示崩溃。LeJEPA通过引入理论基础的分布匹配目标来解决这一问题，推动嵌入向各向同性高斯分布靠拢。然而，该方法依赖于欧几里得假设，无法反映特定领域的几何先验。为此，本文提出了LocaLeJEPA框架，基于流形理论重新表述LeJEPA的熵最大化特性，并引入了新的局部欧几里得分布匹配正则化器LocaLeReg，以实现稳定且可扩展的实现。实验结果表明，LocaLeJEPA在多个模型上显著优于LeJEPA，尤其是在图像分类任务中表现突出。

🔬 方法详解

问题定义：本文旨在解决JEPA方法在自监督学习中出现的表示崩溃问题。现有的LeJEPA方法虽然引入了分布匹配目标，但其依赖于欧几里得假设，无法适应特定领域的几何特性。

核心思路：LocaLeJEPA框架通过流形理论重新表述LeJEPA的熵最大化特性，提出了局部欧几里得分布匹配正则化器LocaLeReg，以更好地适应数据的内在几何结构。

技术框架：LocaLeJEPA框架包括数据预处理、嵌入生成、局部正则化和分类四个主要模块。通过局部正则化，增强了模型对几何先验的适应能力。

关键创新：最重要的创新在于引入了LocaLeReg正则化器，使得嵌入能够在局部欧几里得空间中进行优化，从而有效避免了表示崩溃现象。

关键设计：在损失函数中，结合了分布匹配和局部正则化的目标，确保模型在训练过程中能够稳定地学习到有效的表示。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在ImageNet-1K数据集上，LocaLeJEPA与超曲率ViT-S/8和等变ResNet-50骨干网络结合时，显著超越了LeJEPA，在线性和k-NN分类性能上均有显著提升，具体提升幅度未知。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在计算机视觉领域，如图像分类、目标检测和图像生成等任务。通过更好地利用数据的几何特性，LocaLeJEPA可以提高模型的泛化能力和鲁棒性，未来可能在更复杂的多模态学习场景中发挥重要作用。

📄 摘要（原文）

Joint-Embedding Predictive Architectures (JEPA) offer an appealing approach to self-supervised learning, but are typically prone to representation collapse. LeJEPA resolves this by introducing a theoretically grounded distribution-matching objective that drives the embedding towards an isotropic Gaussian. However, this approach is fundamentally tied to Euclidean assumptions, and its global target does not reflect domain-specific geometric priors, such as the use of non-Euclidean embedding geometries, e.g., equivariant CNNs or hyperbolic ViTs. We thus introduce LocaLeJEPA, a framework motivated by a manifold-theoretic reformulation of LeJEPA's entropy-maximization property. The accompanying LocaLeReg, a novel locally Euclidean distribution-matching regularizer, enables a stable and scalable implementation of the LocaLeJEPA framework. We then perform extensive experiments in the vision setting on models trained on ImageNet-1K. LocaLeJEPA significantly outperforms LeJEPA when paired with hyperbolic ViT-S/8 and equivariant ResNet-50 backbones, and also with ordinary Euclidean ViT-S/8 and ViT-L/14 backbones. This holds both in terms of linear and k-NN classification performance on ImageNet and on a series of downstream tasks tested. We view the LocaLeJEPA formalism as a principled approach to the JEPA paradigm that better respects intrinsic data geometry while also accommodating generalizations to exotic embedding geometries. Code available at https://github.com/alessioborgi/LocaLeJEPA.