Moving Alphabet: A Controlled Study of Training Data for Text-to-Video Generation
作者: Amber Yijia Zheng, Lu Liu, Raymond A. Yeh, Xi Yin
分类: cs.CV
发布日期: 2026-07-21
💡 一句话要点
提出Moving Alphabet以研究文本到视频生成中的数据影响
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 文本到视频生成 数据质量 模型训练 多样性研究 程序化测试平台
📋 核心要点
- 现有文本到视频生成方法对训练数据的质量和分布关注不足，影响模型的泛化能力和性能。
- 提出Moving Alphabet测试平台，通过控制字母的字体、颜色、大小和位置，精确研究数据分布和标注质量的影响。
- 实验发现多样的内容分布和高质量的标注对模型性能至关重要，且微调高质量数据能部分改善模型表现。
📝 摘要（中文）
文本到视频生成在过去五年中取得了显著进展，主要得益于模型规模、数据和计算能力的提升。然而，训练数据的探索相对不足。真实世界数据的整理复杂且非平凡，涉及从原始视频中选择片段并进行标注，以创建视频-文本对用于学习文本到视频的映射。本文研究了数据分布和标注质量对文本到视频模型的影响。为进行可控实验，提出了Moving Alphabet，一个程序化测试平台，能够以不同的字体、颜色、大小和位置渲染字母，并在黑色背景下以不同的方向和速度移动。实验结果表明，视频内容和时长的多样和平衡分布对模型的泛化至关重要，标注质量显著影响模型性能和训练效率，且无分类器引导和高质量数据的微调只能部分恢复在损坏标注上训练的模型，无法完全弥补预训练数据的不足。
🔬 方法详解
问题定义：本文旨在解决文本到视频生成中训练数据质量和分布对模型性能的影响问题。现有方法往往忽视训练数据的整理和标注质量，导致模型在真实场景中的泛化能力不足。
核心思路：通过引入Moving Alphabet这一程序化测试平台，研究不同数据分布和标注质量对文本到视频模型的影响。该设计允许对数据进行精确控制，从而进行可控实验。
技术框架：整体架构包括数据生成模块、标注生成模块和模型训练模块。数据生成模块负责创建不同字体、颜色和运动方式的字母视频，标注生成模块则提供相应的文本描述，最后通过模型训练模块进行学习和评估。
关键创新：最重要的创新在于Moving Alphabet的设计，使得研究者能够系统地操控数据特征，进而分析其对模型性能的具体影响。这与传统方法的随机数据选择形成鲜明对比。
关键设计：在实验中，采用了多样的字体和颜色组合，设置了不同的运动速度和方向。同时，损失函数设计上注重对标注质量的敏感性，以便更好地评估模型在不同数据条件下的表现。通过这些设计，研究者能够深入理解数据质量对模型训练的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，视频内容和时长的多样性对模型的泛化能力至关重要，且高质量的标注显著提升模型性能。具体而言，经过微调的模型在处理高质量数据时表现出更好的训练效率和准确性，尽管无法完全弥补低质量数据的影响。
🎯 应用场景
该研究的潜在应用领域包括教育、广告、娱乐等多个行业，能够为文本到视频生成技术的优化提供理论支持和实践指导。通过提高训练数据的质量和多样性，未来的文本到视频生成模型将能够更好地理解和生成符合用户需求的视频内容，推动相关技术的广泛应用。
📄 摘要（原文）
Text-to-video generation has advanced significantly over the past five years through scaling of model size, data, and compute. Unlike model architecture, training data is often underexplored. Real-world data curation is complex and non-trivial, involving clip selection from raw videos and captioning to create video-text pairs for learning text-to-video mappings. We study how data distribution and caption quality impact text-to-video models. To enable controlled experiments, we introduce Moving Alphabet, a procedural testbed that renders letters with varying fonts, colors, sizes, and positions, moving in different directions and speeds against a black background. This design allows precise control over data distribution and caption quality by corrupting ground-truth metadata. Our experiments yield three findings: a) a diverse and balanced distribution of video content and duration is critical for generalization; b) caption quality significantly affects both model performance and training efficiency, suggesting that text-to-video models are bounded by video understanding capabilities; and c) classifier-free guidance and fine-tuning on high-quality data provide partial recovery from models trained on corrupted captions, but cannot fully compensate for poor pre-training data. We believe these insights can inform the development of large-scale text-to-video models, and we advocate for greater attention to the science of pre-training data.