CoVA: Composing VAE Representations for Generative Learning

📄 arXiv: 2610.13322v1 📥 PDF

作者: Zhaowei Chen, Yikai Ge, Linze Li, Yao Tang, Xiang Li

分类: cs.CV

发布日期: 2026-10-09

💡 一句话要点

提出CoVA以优化生成学习中的VAE表示

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 变分自编码器 生成学习 流匹配训练 图像生成 特征组合 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在生成学习中依赖于辅助编码器，增加了训练开销且未能优化VAE特征的语义区分和空间结构。
  2. CoVA通过在线组合VAE特征，利用小型潜在组合器进行联合训练，提供阶段性指导以改善流匹配训练。
  3. 在ImageNet 256×256上，CoVA将SiT-XL/2的FID从17.2降低至7.4，且在400个训练步骤内实现了显著的性能提升。

📝 摘要（中文）

本论文提出了一种轻量级框架CoVA（组合变分自编码器表示），旨在通过在线组合VAE特征来改善生成学习中的流匹配训练。现有方法依赖于辅助编码器和额外的训练开销，而CoVA通过联合训练小型潜在组合器，利用类别监督、掩蔽潜在重建和水平翻转一致性，生成语义可区分、空间结构良好的特征。实验结果表明，CoVA在ImageNet 256×256上显著降低了FID值，且在推理时没有额外开销。

🔬 方法详解

问题定义：本论文旨在解决生成学习中VAE特征未能优化语义区分和空间结构的问题。现有方法依赖于辅助编码器，导致训练开销增加且效果不佳。

核心思路：CoVA的核心思路是在线组合VAE特征，通过小型潜在组合器的联合训练，生成适合流匹配训练的阶段性指导特征。这样的设计使得生成模型能够更好地利用自身的VAE特征，提升生成效果。

技术框架：CoVA的整体架构包括潜在组合器、类别监督、掩蔽潜在重建和水平翻转一致性等模块。训练过程中，首先对中间SiT特征与组合表示进行对齐，随后逐步去除这种对齐，并利用分离的组合器后验进行样本依赖的软标签条件。

关键创新：CoVA的主要创新在于解决了软标签条件中的隐藏混淆，通过恢复硬标签的幅度，隔离后验依赖的方向语义。这一创新显著改善了FID，同时避免了召回率的下降。

关键设计：CoVA仅增加了8.5M的训练专用辅助参数（占SiT-XL/2的1.3%），且在推理时没有额外开销。损失函数设计上，结合了类别监督和掩蔽重建，确保生成特征的语义一致性和空间结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CoVA显著降低了SiT-XL/2在ImageNet 256×256上的FID值，从17.2降至7.4，提升幅度达到57%。在使用无分类器引导的情况下，仅经过400个训练周期，CoVA实现了FID值2.03，相较于传统SiT-XL/2在1400个周期后的2.06表现出更优的性能。

🎯 应用场景

CoVA的研究成果在生成对抗网络、图像生成和图像编辑等领域具有广泛的应用潜力。通过优化生成模型的特征表示，CoVA能够提升生成图像的质量和多样性，进而推动计算机视觉和人工智能领域的发展。

📄 摘要（原文）

Representation alignment with pretrained visual encoders improves diffusion transformer training but requires auxiliary encoders and extra training overhead. Recent approaches instead exploit representations from the generative model's own variational autoencoder (VAE). However, reconstruction-oriented VAE features are not optimized for the semantic discrimination and spatial structure needed for generative learning. We introduce \textbf{CoVA} (\textbf{Co}mposed \textbf{VA}E Representations), a lightweight framework that composes VAE features online into stage-wise guidance for flow-matching training. A small latent composer is jointly trained with class supervision, masked latent reconstruction, and horizontal-flip consistency, yielding semantically discriminative, spatially structured dense features and sample-dependent class posteriors. CoVA aligns intermediate SiT features with the composed representations early in training, then removes the increasingly detrimental alignment and reuses detached composer posteriors for sample-dependent soft label conditioning. We further uncover a hidden confound in soft label conditioning: averaging class embeddings attenuates their magnitude, coupling semantic interpolation with conditioning strength. This attenuation alone can substantially improve FID while degrading Recall, revealing a non-semantic source of the apparent gain. CoVA corrects this confound by restoring the hard-label magnitude, isolating posterior-dependent directional semantics. CoVA adds only 8.5M training-only auxiliary parameters (1.3\% of SiT-XL/2) and introduces no inference-time overhead. On ImageNet 256$\times$256, CoVA reduces SiT-XL/2 FID from 17.2 to 7.4 (\textbf{57\%}) in 400K steps. With classifier-free guidance, it achieves an FID of \textbf{2.03} in only 400 epochs, versus 2.06 after 1,400 epochs for vanilla SiT-XL/2.