VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders

📄 arXiv: 2607.14088v1 📥 PDF

作者: Zhihao Xie, Junfeng Wu, Xinting Hu, Junchao Huang, Li Jiang

分类: cs.CV

发布日期: 2026-07-15

备注: Home page: https://zhxie0117.github.io/VideoRAE

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出VideoRAE以解决视频生成模型的表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频生成 表示学习 自编码器 多尺度特征 时空结构

📋 核心要点

  1. 现有的3D-VAEs在视频生成中主要优化像素重建，导致其潜在表示无法有效捕捉语义和时空结构。
  2. 本文提出VideoRAE，通过利用冻结视频基础模型的多尺度特征，结合轻量级自注意力机制，实现了视频潜在表示的压缩与生成。
  3. 在UCF-101数据集上，VideoRAE在类到视频的gFVD指标上达到了40和93的最新水平，且收敛速度比竞争基线快约5倍。

📝 摘要（中文）

视频生成模型通常依赖于3D变分自编码器（3D-VAEs）学习的潜在空间。然而，传统的3D-VAEs主要优化像素级重建，限制了其潜在表示所捕获的语义和时空结构。视频基础模型（VFMs）如V-JEPA 2和VideoMAEv2展现了强大的视频理解能力，但其冻结表示是否能够转化为紧凑、可重建且适合生成的视频潜在表示仍未被充分探索。为此，本文提出了VideoRAE，一种利用冻结视频基础编码器的多尺度层次特征并通过轻量级1D自注意力投影器进行压缩的表示自编码器。VideoRAE支持连续潜在表示和离散标记，并通过多代码本高维量化实现。解码过程中，结合冻结VFM教师的局部与全局表示对齐目标，提升了语义保留能力，并实现了无需KL正则化的训练。实验结果表明，VideoRAE在连续和离散模式下均实现了强重建性能。

🔬 方法详解

问题定义：本文旨在解决传统3D-VAEs在视频生成中的潜在表示学习不足的问题，尤其是在语义和时空结构捕捉方面的局限性。

核心思路：提出VideoRAE，通过利用冻结的视频基础模型的多尺度特征，结合轻量级的1D自注意力投影器，来生成紧凑且适合生成的视频潜在表示。

技术框架：VideoRAE的整体架构包括一个冻结的视频基础编码器用于特征提取，一个1D自注意力投影器用于特征压缩，以及一个解码器用于生成视频。

关键创新：VideoRAE的主要创新在于将冻结VFM的表示与自注意力机制结合，形成了一种新的表示自编码器，能够有效提升视频生成的质量和效率。

关键设计：在设计上，VideoRAE采用了多代码本高维量化来支持连续和离散潜在表示，并在解码过程中引入局部与全局表示对齐目标，以增强语义保留能力，同时避免了KL正则化的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VideoRAE在UCF-101数据集上实现了40和93的gFVD指标，分别使用AR和DiT生成器，且收敛速度比现有自编码器基线快约5倍。这些结果验证了冻结VFM表示作为多功能和适合生成的视频潜在表示的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频生成、视频理解和多模态学习等。VideoRAE的高效表示学习能力使其在生成高质量视频内容、视频摘要和视频检索等任务中具有实际价值。未来，该模型可能推动视频生成技术的进一步发展，促进更复杂的多模态应用场景。

📄 摘要（原文）

Video generative models commonly rely on latent spaces learned by 3D Variational Autoencoders (3D-VAEs). However, conventional 3D-VAEs are mainly optimized for pixel-level reconstruction, which can limit the semantic and spatio-temporal structure captured by their latents. Meanwhile, Video Foundation Models (VFMs) such as V-JEPA 2 and VideoMAEv2 show strong video understanding capabilities, yet whether their frozen representations can be transformed into compact, reconstruction-capable, and generation-friendly video latents remains largely unexplored. We answer this question with VideoRAE, a representation autoencoder that leverages multi-scale hierarchical features from a frozen video foundation encoder and compresses them with a lightweight 1D self-attention projector. VideoRAE supports both continuous latents for Diffusion Transformers and discrete tokens for autoregressive models via multi-codebook high-dimensional quantization. During decoding, a local-and-global representation alignment objective with the frozen VFM teacher improves semantic preservation and enables training without KL regularization. Experiments show that VideoRAE achieves strong reconstruction in both continuous and discrete regimes. On UCF-101, it obtains state-of-the-art class-to-video gFVDs of 40 and 93 with AR and DiT generators, respectively, while converging approximately 5x faster than competing autoencoder baselines. In a controlled 2B-scale text-to-video study, replacing LTX-VAE with VideoRAE leads to faster convergence under comparable settings. These results validate frozen VFM representations as versatile and generation-friendly video latents. The model and code will be released on https://zhxie0117.github.io/VideoRAE.