Sparrow: Data-Efficient Video-LLM with Text-to-Image Augmentation
作者: Shukang Yin, Chaoyou Fu, Sirui Zhao, Chunjiang Ge, Yan Yang, Yuhan Dai, Yongdong Luo, Tong Xu, Caifeng Shan, Enhong Chen
分类: cs.CV, cs.CL, cs.LG
发布日期: 2024-11-29 (更新: 2025-07-22)
备注: Project page: https://github.com/VITA-MLLM/Sparrow
🔗 代码/项目: GITHUB
💡 一句话要点
Sparrow：一种基于文本到图像增强的数据高效视频-LLM方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频语言模型 数据增强 文本到图像生成 指令学习 长视频理解
📋 核心要点
- 现有视频-LLM模型依赖大规模数据，但简单的数据扩增导致指令多样性不足，学习效率低下。
- Sparrow通过文本到图像的合成数据增强，提升视频-LLM的训练效率和指令泛化能力。
- 实验表明，Sparrow在数据效率上优于基线模型，并能提升长视频理解能力，无需额外长视频训练。
📝 摘要（中文）
近年来，多模态大型语言模型（MLLM）在视觉理解领域取得了成功。这些模型的成功很大程度上归功于主导的缩放定律，即更大的参数规模和数据量有助于更好的性能。值得注意的是，数据缩放主要由自动数据管道驱动，这些管道专注于LLM的自我指导。这种范式已经被认为是理所当然的，但是对使用这些数据进行缩放的有效性的研究已经被忽略了很长时间。在此背景下，这项工作重新审视了使用合成数据进行缩放，并侧重于从以数据为中心的角度开发视频-LLM。我们的主要研究方法包括使用视频数据微调预训练的图像-LLM，并通过数据缩放来检查学习效率。初步实验结果表明，简单地扩大视频数据样本会导致学习效率低下的现象，通过我们的探测，这可以归因于缺乏指令多样性。针对这个问题，我们提出了一种名为Sparrow的数据增强方法，该方法从纯文本指令数据合成类似视频的样本。将这些合成样本与视频数据混合，可以实现更有效的训练方案。通过全面的实验，我们证明了我们提出的方法实现了与使用更多样本训练的基线相当甚至优于基线的性能。同时，我们发现结合这些合成样本可以提高长视频理解的性能，而无需在长视频数据上进行训练。
🔬 方法详解
问题定义：现有视频-LLM模型训练依赖于大规模的视频数据，但简单地增加视频数据量并不能有效提升模型性能，因为视频数据的指令多样性不足，导致模型学习效率低下。这限制了模型在实际应用中的泛化能力和长视频理解能力。
核心思路：论文的核心思路是通过引入文本到图像的合成数据来增强训练数据的指令多样性。通过利用文本指令生成相应的视频片段，并将这些合成数据与真实视频数据混合，从而提高模型的学习效率和泛化能力。这种方法旨在解决真实视频数据指令单一的问题，并提升模型在长视频理解方面的表现。
技术框架：Sparrow 的整体框架包括以下几个主要步骤：1) 使用文本指令生成合成视频数据；2) 将合成视频数据与真实视频数据混合；3) 使用混合数据微调预训练的图像-LLM。该框架的核心在于文本到图像的合成数据生成模块，该模块负责根据给定的文本指令生成相应的视频片段。然后，将这些合成视频片段与真实视频数据混合，形成最终的训练数据集。最后，使用该数据集微调预训练的图像-LLM，从而得到最终的视频-LLM模型。
关键创新：Sparrow 的关键创新在于提出了基于文本到图像的合成数据增强方法，用于提升视频-LLM的训练效率和指令泛化能力。与现有方法不同，Sparrow 并不依赖于大规模的真实视频数据，而是通过合成数据来增强训练数据的多样性。这种方法可以有效地解决真实视频数据指令单一的问题，并提升模型在长视频理解方面的表现。
关键设计：在文本到图像的合成数据生成模块中，可以使用各种文本到图像的生成模型，如 Stable Diffusion 或 DALL-E。关键在于设计合适的文本指令，以覆盖各种不同的场景和任务。此外，还可以通过调整生成模型的参数，如噪声水平和采样策略，来控制生成视频片段的质量和多样性。在训练过程中，可以使用各种损失函数，如交叉熵损失和对比损失，来优化模型的性能。此外，还可以使用各种正则化技术，如 dropout 和权重衰减，来防止过拟合。
🖼️ 关键图片
📊 实验亮点
Sparrow 在视频-LLM 训练中表现出显著的数据效率提升。实验结果表明，使用 Sparrow 训练的模型在性能上可以与使用更多真实视频数据训练的基线模型相媲美，甚至超越它们。此外，Sparrow 还可以提升长视频理解能力，而无需在长视频数据上进行训练，这进一步证明了其有效性和泛化能力。
🎯 应用场景
Sparrow 有潜力应用于各种视频理解任务，例如视频问答、视频摘要、视频编辑和智能监控。通过提高视频-LLM 的数据效率和泛化能力，Sparrow 可以降低模型训练成本，并使其更容易部署到资源受限的环境中。此外，Sparrow 还可以用于生成各种创意内容，例如虚拟现实和增强现实应用。
📄 摘要（原文）
Recent years have seen the success of Multimodal Large Language Models (MLLMs) in the domain of vision understanding. The success of these models can largely be attributed to the dominant scaling law, which states that larger parameter sizes and data volumes contribute to better performance. Notably, data scaling has been primarily driven by automatic data pipelines, which focus on the self-instruction of LLMs. The paradigm has been taken for granted for quite some time, but the study of the effectiveness of scaling with these data has been neglected for a long time. In this context, this work revisits scaling with synthetic data and focuses on developing video-LLMs from a data-centric perspective. Our primary study approach involves fine-tuning pre-trained image-LLMs with video data and examining learning efficiency through data scaling. Results from our preliminary experiments reveal a low learning efficiency phenomenon when simply scaling up video data samples, which, through our probing, can be ascribed to a lack of instruction diversity. Aiming at this issue, we propose a data augmentation method called Sparrow, which synthesizes video-like samples from pure text instruction data. Mixing these synthetic samples with the video data enables a more efficient training scheme. Through comprehensive experiments, we demonstrate that our proposed method achieves performance comparable to or even superior to that of baselines trained with significantly more samples. Meanwhile, we find that incorporating these synthetic samples can enhance the performance of long video understanding without requiring training on long video data. The code and data examples are available at https://github.com/VITA-MLLM/Sparrow.