Factorized-Dreamer: Training A High-Quality Video Generator with Limited and Low-Quality Data
作者: Tao Yang, Yangming Shi, Yunwen Huang, Feng Chen, Yin Zheng, Lei Zhang
分类: cs.CV, cs.AI
发布日期: 2024-08-19
🔗 代码/项目: GITHUB
💡 一句话要点
Factorized-Dreamer：利用有限低质量数据训练高质量视频生成器
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)
关键词: 文本到视频生成 视频生成 低质量数据 分解框架 光流监督 T5文本编码器 交叉注意力 噪声调度
📋 核心要点
- 高质量视频合成面临真实世界中复杂多样的运动挑战，现有方法依赖大规模高质量视频数据，获取成本高昂。
- Factorized-Dreamer将T2V生成分解为图像生成和视频合成两步，降低了对详细文本描述和高质量视频的需求。
- 实验表明，该模型可以直接在WebVid-10M等有限的低质量数据集上进行训练，并在T2V和图像到视频生成任务中表现出色。
📝 摘要（中文）
本文提出了一种名为Factorized-Dreamer的文本到视频（T2V）生成框架，旨在解决高质量视频合成的难题。现有方法通常依赖大规模高质量视频数据，而这些数据难以获取。本文表明，通过分解T2V生成过程，并结合特定的网络设计，可以仅使用公开的有限低质量数据训练高质量视频生成器，无需重新标注或微调。具体而言，该方法将T2V生成分解为两个步骤：首先，根据详细的文本描述生成图像；然后，根据生成的图像和简要的运动描述合成视频。Factorized-Dreamer包含一个用于融合文本和图像嵌入的适配器、一个用于捕获像素级图像信息的像素感知交叉注意力模块、一个用于更好理解运动描述的T5文本编码器，以及一个用于监督光流的PredictNet。此外，还提出了一种噪声调度策略，以确保视频生成的质量和稳定性。实验结果表明，该方法在各种T2V和图像到视频生成任务中均表现出有效性。
🔬 方法详解
问题定义：本文旨在解决文本到视频生成（T2V）中高质量视频合成的难题。现有方法主要依赖于大规模高质量的视频数据集进行训练，但这些数据集的收集和标注成本非常高，限制了社区的研究和应用。此外，现有方法难以充分利用有限的低质量数据，导致生成视频的质量不高。
核心思路：Factorized-Dreamer的核心思路是将T2V生成过程分解为两个步骤：首先，根据详细的文本描述生成高质量的图像；然后，利用生成的图像和简要的运动描述合成视频。这种分解降低了对高质量视频数据和详细文本描述的依赖，使得模型可以利用有限的低质量数据进行训练。
技术框架：Factorized-Dreamer的整体框架包含以下几个主要模块：1) 文本编码器：使用T5文本编码器来理解详细的文本描述和简要的运动描述。2) 图像生成器：根据详细的文本描述生成高质量的图像。3) 适配器：将文本和图像的嵌入向量进行融合，为后续的视频生成提供信息。4) 视频合成器：根据生成的图像和简要的运动描述合成视频。5) PredictNet：用于监督光流，提高视频的运动质量。
关键创新：Factorized-Dreamer的关键创新在于其分解的T2V生成框架和针对低质量数据的优化设计。通过将T2V生成分解为图像生成和视频合成两个步骤，该方法降低了对高质量视频数据和详细文本描述的依赖。此外，该方法还引入了像素感知交叉注意力模块和噪声调度策略，以提高视频生成的质量和稳定性。与现有方法相比，Factorized-Dreamer可以在有限的低质量数据集上训练高质量的视频生成器。
关键设计：1) 适配器：用于融合文本和图像嵌入，采用简单的线性层实现。2) 像素感知交叉注意力模块：用于捕获像素级别的图像信息，提高视频生成的细节。3) T5文本编码器：用于更好地理解运动描述，提高视频的运动质量。4) PredictNet：用于监督光流，采用简单的卷积神经网络实现。5) 噪声调度策略：用于控制视频生成的噪声水平，确保视频生成的质量和稳定性。
🖼️ 关键图片
📊 实验亮点
Factorized-Dreamer在多个T2V和图像到视频生成任务上进行了评估，实验结果表明，该方法可以在有限的低质量数据集上训练高质量的视频生成器。例如，在WebVid-10M数据集上，Factorized-Dreamer生成的视频质量明显优于现有方法，并且在运动质量和细节方面也有显著提升。具体的性能数据和对比基线可以在论文中找到。
🎯 应用场景
Factorized-Dreamer具有广泛的应用前景，包括视频生成、视频编辑、视频增强和视频翻译等。该方法降低了对高质量视频数据和详细文本描述的依赖，使得用户可以使用有限的低质量数据生成高质量的视频。此外，该方法还可以用于生成各种风格和内容的视频，满足不同用户的需求。未来，该方法可以应用于虚拟现实、游戏开发、广告制作等领域。
📄 摘要（原文）
Text-to-video (T2V) generation has gained significant attention due to its wide applications to video generation, editing, enhancement and translation, \etc. However, high-quality (HQ) video synthesis is extremely challenging because of the diverse and complex motions existed in real world. Most existing works struggle to address this problem by collecting large-scale HQ videos, which are inaccessible to the community. In this work, we show that publicly available limited and low-quality (LQ) data are sufficient to train a HQ video generator without recaptioning or finetuning. We factorize the whole T2V generation process into two steps: generating an image conditioned on a highly descriptive caption, and synthesizing the video conditioned on the generated image and a concise caption of motion details. Specifically, we present \emph{Factorized-Dreamer}, a factorized spatiotemporal framework with several critical designs for T2V generation, including an adapter to combine text and image embeddings, a pixel-aware cross attention module to capture pixel-level image information, a T5 text encoder to better understand motion description, and a PredictNet to supervise optical flows. We further present a noise schedule, which plays a key role in ensuring the quality and stability of video generation. Our model lowers the requirements in detailed captions and HQ videos, and can be directly trained on limited LQ datasets with noisy and brief captions such as WebVid-10M, largely alleviating the cost to collect large-scale HQ video-text pairs. Extensive experiments in a variety of T2V and image-to-video generation tasks demonstrate the effectiveness of our proposed Factorized-Dreamer. Our source codes are available at \url{https://github.com/yangxy/Factorized-Dreamer/}.