From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model

📄 arXiv: 2610.05711v1 📥 PDF

作者: Vicente Balmaseda, Ching-Long Lin, Tianbao Yang

分类: cs.LG, cs.CV, stat.ML

发布日期: 2026-10-05

💡 一句话要点

提出SCION以解决无标签生成与自监督表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 图像生成 无标签学习 深度学习 计算机视觉

📋 核心要点

  1. 现有的图像生成模型通常依赖于标签或预训练模型，限制了其应用的灵活性。
  2. SCION通过在单一模型中结合生成与自监督表示学习，实现了无标签的自条件生成。
  3. 在ImageNet数据集上，SCION的FID值显著优于现有的无条件生成模型，展示了其有效性。

📝 摘要（中文）

强大的图像生成模型通常依赖于类标签、冻结的预训练编码器或单独训练的自编码器。尽管这些方法有效，但生成过程依赖于监督或预训练，需标注标签或为目标领域预训练编码器。本文研究在单一模型中联合生成与自监督表示学习，实现在没有标签或预训练模型的情况下进行自条件生成。我们提出了SCION（自条件生成与自监督表示），其核心是一个基于像素空间的编码器，结合流时间步和嵌入进行条件化。SCION在ImageNet 256x256数据集上表现优异，FID值达到8.92，超越了对预训练DINOv2对齐的iREPA和RCG。

🔬 方法详解

问题定义：本文旨在解决现有图像生成模型对标签和预训练模型的依赖问题。现有方法在生成过程中需要标注和预训练，限制了其灵活性和适用性。

核心思路：SCION通过在单一模型中实现自条件生成与自监督表示学习，避免了对外部标签和预训练模型的依赖。该方法通过条件化嵌入和像素空间编码器的结合，解决了生成与表示学习目标不匹配的问题。

技术框架：SCION的整体架构包括一个像素空间编码器和一个解码器。编码器根据流时间步和全局共享嵌入进行条件化，生成图像时使用图像自身的[CLS]表示作为条件嵌入。

关键创新：SCION的主要创新在于其自条件生成能力和无标签自监督学习的结合，突破了传统方法对预训练模型的依赖。

关键设计：在损失函数设计上，使用对比损失来训练编码器的[CLS]表示，同时通过平衡梯度范数和停止梯度机制实现联合优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SCION在ImageNet 256x256数据集上的FID值达到8.92，显著优于对预训练DINOv2对齐的iREPA（FID 46.44）和RCG（FID 14.27）。在使用JiT-L时，SCION的FID值更是达到5.89，无需指导，且在有表示指导的情况下进一步提升至3.47。

🎯 应用场景

SCION的研究成果在图像生成、计算机视觉和无监督学习等领域具有广泛的应用潜力。其无标签生成的能力使得在数据稀缺的情况下仍能进行有效的图像生成，推动了相关技术的发展和应用。

📄 摘要（原文）

Strong image generation models are conditioned on class labels, aligned to frozen pretrained encoders, or built on separately trained autoencoders. While effective, generation then depends on supervision or pretraining: labels must be annotated, and encoders or autoencoders pretrained for the target domain. We study joint generative and self-supervised representation learning in a single model, enabling self-conditioned generation without labels or pretrained models. This is challenging because the objectives are mismatched: contrastive learning consumes clean augmented views and favors coarse, invariant semantics, while flow matching consumes noisy images and must preserve the fine detail and spatial layout that contrastive learning discards. We propose SCION (Self-conditioned Generation on Self-supervised representation), whose core is a single pixel-space encoder conditioned on the flow timestep and an embedding. For representation learning, this conditioning embedding is a learned global vector shared across images, with the encoder's [CLS] token yielding the semantic representation trained by the contrastive loss. For generative training, the conditioning embedding is the image's own [CLS] representation, while patch tokens pass through a decoder to predict the image. To sample without a reference image at inference, we jointly learn a prior over the embedding. Gradient-norm balancing and stop-gradient mechanisms enable joint optimization in one run. SCION is self-supervised and self-contained, with no labels or pretrained models. On ImageNet 256x256, with the JiT-B recipe and no representation guidance, SCION reaches 8.92 FID, surpassing class-unconditional iREPA, which aligns to pretrained DINOv2 (46.44), and RCG, which conditions on it (14.27). With JiT-L, SCION achieves 5.89 FID without guidance and 3.47 with representation guidance, outperforming RCG with the ADM recipe (6.24).