Scalable Patch-Level Self-Supervised Learning
作者: Maximilian Seitzer, Gabriele Trivigno, Antonín Vobecký, Seungeun Yi, Maxime Oquab, Huy V. Vo, Oriane Siméoni, Piotr Bojanowski
分类: cs.CV
发布日期: 2026-10-07
💡 一句话要点
提出JEM算法以解决大规模自监督学习的稳定性问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 自监督学习 信息论 补丁对齐 视觉表征 大规模训练 图像分割 深度学习
📋 核心要点
- 现有的大规模自监督学习方法往往依赖于多种目标和稳定机制的组合，导致其设计缺乏原则性。
- 本文提出了一种基于多视图假设的自监督学习算法JEM，通过对齐不同视图的补丁表征来学习。
- JEM在多个参数规模下均表现出色，尤其在分割任务中超越了当前最强的DINOv2和DINOv3算法。
📝 摘要（中文）
大规模自监督学习（SSL）能够生成强大的视觉表征，但现有方法多依赖于多目标和稳定机制的随意组合。本文提出了一种基于信息论的目标，构建了JEM算法，通过对齐不同视图的补丁表征进行学习，并通过信息和结构保留损失进行显式正则化。JEM在300M到7B参数范围内稳定训练，并在全局和密集探测任务上表现优异，尤其在分割基准测试中超越DINOv2，且在7B参数下的全景分割任务中超越DINOv3，尽管训练数据量减少了12倍且未进行精细化阶段。这表明可以设计出既强大又稳定的SSL算法。
🔬 方法详解
问题定义：本文旨在解决现有大规模自监督学习方法的稳定性和原则性不足的问题。现有方法通常依赖于复杂的目标组合，缺乏清晰的理论基础。
核心思路：论文提出了一种基于信息论的目标，通过对不同视图的补丁表征进行对齐，明确了学习过程中的信息和结构保留损失，从而实现稳定的训练。
技术框架：JEM算法的整体架构包括多个阶段：首先，通过多视图假设提取任务相关内容；其次，构建信息论目标并进行补丁对齐；最后，应用正则化损失以保持信息和结构。
关键创新：JEM算法的核心创新在于其信息论基础的目标设计，使得补丁级别的学习在大规模参数下变得可行且稳定，这是与现有方法的本质区别。
关键设计：在参数设置上，JEM支持从300M到7B的参数规模，损失函数包括信息保留和结构保留损失，网络结构设计上强调补丁对齐的有效性。整体设计确保了算法在不同规模下的稳定性和性能。
🖼️ 关键图片
📊 实验亮点
在实验中，JEM算法在全局和密集探测任务上表现优异，尤其在分割基准测试中超越了DINOv2，并在7B参数下的全景分割任务中超越DINOv3，尽管训练数据量减少了12倍且未进行精细化阶段。这些结果表明JEM在大规模自监督学习中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的图像分割、目标检测和图像生成等任务。JEM算法的稳定性和高效性使其在实际应用中具有重要价值，能够推动自监督学习在大规模数据集上的应用，未来可能影响多个视觉任务的研究方向。
📄 摘要（原文）
Self-supervised learning (SSL) at scale produces powerful visual representations. However, most scalable SSL methods rely on ad hoc combinations of multiple objectives and stabilization mechanisms. Taking a step back, we ask if we can design a high-performing, yet principled SSL algorithm. Starting from the multi-view assumption, stipulating that task-relevant content is captured by the information common to different views, we construct an information-theoretic objective decomposing into interpretable terms. This derivation yields JEM, a student-teacher method that learns by aligning corresponding patch representations across views, explicitly regularized by information and structure preservation losses. JEM trains stably from 300M to 7B parameters, and, to our knowledge, is the first latent-space patch-level method demonstrated at 7B scale. Across all scales, JEM reaches strong performance on both global and dense probing tasks, on segmentation benchmarks consistently surpassing the DINOv2 algorithm, an influential foundation for today's strongest visual SSL methods. Notably, at 7B parameters, it exceeds the performance of DINOv3 on panoptic segmentation, despite being trained on $12\times$ less data without refinement stages. These results demonstrate that we can indeed design an SSL algorithm that learns strong representations, is principled and stable.