Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction
作者: Yiren Jian, Tingkai Liu, Yunzhe Tao, Chunhui Zhang, Soroush Vosoughi, Hongxia Yang
分类: cs.CV
发布日期: 2023-10-05 (更新: 2024-02-21)
🔗 代码/项目: GITHUB
💡 一句话要点
提出EVLGen以加速视觉条件语言生成模型训练
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉条件生成 语言生成 多模态学习 高效训练 模型压缩 视觉-语言对齐 深度学习
📋 核心要点
- 现有视觉-语言预训练方法通常采用资源密集的两阶段训练，导致效率低下和计算成本高。
- 本文提出的EVLGen框架通过单阶段训练和逐步合并视觉标记，显著提高了训练效率并保持性能。
- 实验结果表明，EVLGen在训练速度上提升了5倍，并且仅使用1/10的数据即可达到接近现有模型的性能。
📝 摘要（中文）
本文介绍了$ ext{EVL}_{ ext{Gen}}$，一个旨在高效训练视觉条件语言生成模型的框架，利用冻结的预训练大型语言模型（LLMs）。传统的视觉-语言预训练方法通常采用两阶段优化过程，第一阶段资源消耗大，专注于通用视觉-语言表示学习，第二阶段则强调视觉与语言模态的端到端对齐。我们的创新性单阶段、单损失框架通过在训练过程中逐步合并相似的视觉标记，避免了BLIP-2类型模型单阶段训练导致的模型崩溃，有效浓缩视觉信息，同时保持语义丰富性，快速收敛而不影响性能。实验结果表明，该方法加速了视觉-语言模型的训练速度，提升幅度达到5倍，同时仅使用1/10的数据显著缩小了与当前视觉-语言模型的性能差距。此外，我们展示了该模型如何通过新颖的软注意力时间标记上下文模块无缝适应视频条件语言生成任务。
🔬 方法详解
问题定义：本文旨在解决传统视觉-语言预训练方法在训练效率和计算资源方面的不足，特别是两阶段训练带来的高成本和低效能问题。
核心思路：提出的EVLGen框架通过单阶段训练和逐步合并相似视觉标记，避免了模型崩溃，同时有效浓缩视觉信息，保持语义的丰富性。
技术框架：EVLGen框架包括一个单阶段训练流程，主要模块包括视觉特征提取、视觉标记合并和语言生成模块，所有模块在训练过程中协同工作。
关键创新：最重要的创新在于通过逐步合并视觉标记来替代传统的两阶段训练，显著降低了计算复杂度，同时保持了模型性能。
关键设计：在设计中，采用了冻结的预训练大型语言模型作为基础，损失函数设计为单一损失，确保训练过程的简洁性和高效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EVLGen在训练速度上提升了5倍，且在使用仅1/10的数据时，模型性能显著接近当前最先进的视觉-语言模型。这一成果表明，EVLGen在效率与效果之间取得了良好的平衡。
🎯 应用场景
该研究的潜在应用领域包括多模态生成任务，如图像描述、视频理解和人机交互等。通过提高训练效率，EVLGen能够在资源有限的情况下快速开发高性能的视觉-语言模型，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
In this paper, we introduce $\text{EVL}_{\text{Gen}}$, a streamlined framework designed for the pre-training of visually conditioned language generation models with high computational demands, utilizing frozen pre-trained large language models (LLMs). The conventional approach in vision-language pre-training (VLP) typically involves a two-stage optimization process: an initial resource-intensive phase dedicated to general-purpose vision-language representation learning, focused on extracting and consolidating relevant visual features. This is followed by a subsequent phase that emphasizes end-to-end alignment between visual and linguistic modalities. Our novel one-stage, single-loss framework bypasses the computationally demanding first training stage by gradually merging similar visual tokens during training, while avoiding model collapse caused by single-stage training of BLIP-2 type models. The gradual merging process effectively condenses visual information while preserving semantic richness, resulting in rapid convergence without compromising performance. Our experimental findings demonstrate that our approach accelerates the training of vision-language models by a factor of 5 without a noticeable impact on overall performance. Furthermore, we illustrate that our models significantly narrow the performance gap to current vision-language models using only 1/10 of the data. Finally, we showcase how our image-text models can seamlessly adapt to video-conditioned language generation tasks through novel soft attentive temporal token contextualizing modules. Code is available at \url{https://github.com/yiren-jian/EVLGen}.