ModelGrow: Continual Text-to-Video Pre-training with Model Expansion and Language Understanding Enhancement

📄 arXiv: 2412.18966v1 📥 PDF

作者: Zhefan Rao, Liya Ji, Yazhou Xing, Runtao Liu, Zhaoyang Liu, Jiaxin Xie, Ziqiao Peng, Yingqing He, Qifeng Chen

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-12-25

备注: 18 pages

💡 一句话要点

提出ModelGrow，通过模型扩展和语言理解增强实现文本到视频的持续预训练。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视频生成 持续预训练 模型扩展 语言理解增强 大型语言模型 多模态学习 视频生成

📋 核心要点

  1. 现有T2V模型训练成本高昂，尤其在计算资源受限时，生成性能提升空间大，缺乏对持续预训练技术的深入研究。
  2. ModelGrow通过扩展模型容量和增强语义理解两方面实现T2V模型的持续预训练，提升生成性能。
  3. 实验结果表明，ModelGrow在各种指标上均表现出有效性，证明了其在T2V生成任务中的优越性。

📝 摘要（中文）

本文关注文本到视频（T2V）生成任务。从头训练T2V模型的成本居高不下，尤其是在计算资源有限的情况下，生成性能仍有很大的提升空间。本文探索了文本到视频模型的持续通用预训练，使模型能够在预训练的基础上“增长”其能力，类似于人类基于过去的经验获取新知识。目前，T2V生成中持续预训练技术的研究尚不充分。本文朝着系统地探索这项任务迈出了第一步，并提出了ModelGrow。具体来说，本文将这项任务分解为两个关键方面：增加模型容量和提高语义理解。对于模型容量，本文引入了几种新技术来扩展模型大小，使其能够存储新知识并提高生成性能。对于语义理解，本文提出了一种利用大型语言模型作为高级文本编码器的方法，将其集成到T2V模型中，以增强语言理解，并根据详细的提示指导生成结果。这种方法使模型能够实现更好的语义对齐，尤其是在响应复杂的用户提示时。大量的实验证明了本文方法在各种指标上的有效性。ModelGrow的源代码和模型将公开发布。

🔬 方法详解

问题定义：本文旨在解决文本到视频（T2V）生成模型训练成本高、生成性能提升受限的问题，尤其是在计算资源有限的情况下。现有方法从头训练模型成本高，且难以充分利用大规模文本数据中的语义信息。

核心思路：本文的核心思路是采用持续预训练的方式，让T2V模型在已有的预训练基础上不断“成长”，通过扩展模型容量和增强语义理解能力来提升生成性能。这种方法类似于人类基于已有知识学习新知识，可以更有效地利用数据和计算资源。

技术框架：ModelGrow的整体框架包含两个主要部分：模型扩展和语言理解增强。模型扩展部分负责增加模型的容量，使其能够存储更多的知识。语言理解增强部分则利用大型语言模型（LLM）作为文本编码器，提升模型对复杂文本提示的理解能力。这两个部分协同工作，共同提升T2V模型的生成性能。

关键创新：本文的关键创新在于将持续预训练的思想引入T2V生成领域，并提出了相应的模型扩展和语言理解增强技术。利用大型语言模型作为文本编码器，可以显著提升模型对复杂文本提示的理解能力，从而生成更符合用户意图的视频。

关键设计：在模型扩展方面，具体的技术细节未知。在语言理解增强方面，本文将大型语言模型集成到T2V模型中作为文本编码器，具体集成方式和训练策略未知。损失函数和网络结构等其他技术细节也未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了ModelGrow的有效性，但具体的性能数据、对比基线和提升幅度未知。摘要中提到“大量的实验证明了本文方法在各种指标上的有效性”，但未给出具体数据。源代码和模型将公开发布，方便其他研究者复现和进一步研究。

🎯 应用场景

ModelGrow具有广泛的应用前景，可用于视频内容创作、广告生成、教育视频制作等领域。通过持续预训练，模型可以不断学习新的知识和技能，适应不断变化的用户需求和应用场景。该研究有助于降低T2V模型的训练成本，提高生成质量，推动T2V技术在实际应用中的普及。

📄 摘要（原文）

Text-to-video (T2V) generation has gained significant attention recently. However, the costs of training a T2V model from scratch remain persistently high, and there is considerable room for improving the generation performance, especially under limited computation resources. This work explores the continual general pre-training of text-to-video models, enabling the model to "grow" its abilities based on a pre-trained foundation, analogous to how humans acquire new knowledge based on past experiences. There is a lack of extensive study of the continual pre-training techniques in T2V generation. In this work, we take the initial step toward exploring this task systematically and propose ModelGrow. Specifically, we break this task into two key aspects: increasing model capacity and improving semantic understanding. For model capacity, we introduce several novel techniques to expand the model size, enabling it to store new knowledge and improve generation performance. For semantic understanding, we propose a method that leverages large language models as advanced text encoders, integrating them into T2V models to enhance language comprehension and guide generation results according to detailed prompts. This approach enables the model to achieve better semantic alignment, particularly in response to complex user prompts. Extensive experiments demonstrate the effectiveness of our method across various metrics. The source code and the model of ModelGrow will be publicly available.