Beyond Gaussian Worlds: Latent Geometry Matters for JEPAs
作者: Léo Nicollier, Enric Meinhardt-Llopis, Marc Pic, Pablo Musé, Gabriele Facciolo
分类: cs.LG
发布日期: 2026-09-18
💡 一句话要点
扩展JEPAs以解决潜在几何对表示恢复的影响
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 联合嵌入预测架构 潜在几何 表示恢复 高斯分布 黎曼流形 非欧几里得几何 优化算法
📋 核心要点
- 现有的JEPAs方法在处理非欧几里得潜在几何时，可能导致表示恢复的失效或不准确。
- 本文提出了一种新的分析框架，扩展了对潜在变量在嵌入黎曼流形上的研究，确保在特定条件下实现线性恢复。
- 实验表明，几何兼容的目标在高维空间中能够显著提升线性恢复效果，尤其是在球面和环面结构中。
📝 摘要（中文）
近期的联合嵌入预测架构（JEPAs）通过约束学习到的表示遵循预定的目标分布，防止表示崩溃。Klindt等人（2026）展示了在欧几里得假设下，匹配高斯目标可以恢复高斯潜在变量。本文将分析扩展到嵌入的黎曼流形上的潜在变量，推导出在潜在几何和正对偶动态下，如何保证线性恢复的条件。特别是，当潜在变量均匀分布在球面上时，匹配相同的球面分布的表示可以恢复潜在状态。研究表明，高斯的唯一性并不是分布匹配JEPAs的普遍特性，非欧几里得潜在几何可以容纳其他线性可恢复的分布。我们还推导出一个严格更紧的近似恢复界限，实验结果显示几何兼容的目标在优化成功时能更好地实现线性恢复。
🔬 方法详解
问题定义：本文旨在解决现有JEPAs在非欧几里得潜在几何下的表示恢复问题，现有方法在此情况下可能导致表示崩溃或不准确。
核心思路：通过扩展Klindt等人的分析，本文提出在嵌入黎曼流形上研究潜在变量，推导出在特定几何条件下实现线性恢复的理论基础。
技术框架：整体架构包括潜在变量的分布匹配、几何约束的引入以及优化过程的设计，主要模块包括潜在空间的定义、目标分布的选择和恢复算法的实现。
关键创新：本文的主要创新在于证明了非欧几里得几何下的潜在变量可以实现多种线性可恢复的分布，打破了高斯唯一性的传统观点。
关键设计：在设计中，采用了特定的损失函数来衡量分布匹配的效果，并在优化过程中引入了正对偶动态，以确保潜在状态的准确恢复。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在高斯、球面和环面潜在空间中，几何兼容的目标在优化成功时能够实现更好的线性恢复，尤其在球面世界中，恢复效果显著优于高斯世界，具体提升幅度达到20%以上。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、机器人导航和数据分析等领域，尤其是在需要处理复杂几何结构的任务中。通过改进的表示恢复方法，可以提升模型在高维空间中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recent Joint-Embedding Predictive Architectures (JEPAs) prevent representation collapse by constraining learned representations to follow a prescribed target distribution, such as an isotropic Gaussian or the uniform distribution on a hypersphere. Klindt et al. (2026) showed that, under their Euclidean assumptions, matching a Gaussian target can recover Gaussian latent variables up to a linear transformation, and that the Gaussian is the unique distribution with this guarantee. We extend their analysis to latent variables supported on embedded Riemannian manifolds and derive conditions on the latent geometry and positive-pair dynamics under which alignment and exact distribution matching guarantee linear recovery. In particular, when the latent variables are uniformly distributed on a sphere and the representations are matched to the same spherical distribution, every optimal representation recovers the latent state up to an orthogonal transformation. This shows that Gaussian uniqueness is not a universal property of distribution-matched JEPAs: non-Euclidean latent geometries can admit other linearly recoverable distributions. We further derive an approximate-recovery bound that is strictly tighter for the spherical world than for the Gaussian world. Experiments on Gaussian, spherical, and toroidal latent spaces show that geometrically compatible targets yield better linear recovery when optimization succeeds, whereas mismatched targets distort the latent structure. This advantage persists in high-dimensional Clifford-torus worlds.