Image-to-Video Transfer Learning based on Image-Language Foundation Models: A Comprehensive Survey
作者: Jinxuan Li, Chaolei Tan, Haoxuan Chen, Jianxin Ma, Jian-Fang Hu, Wei-Shi Zheng, Jianhuang Lai
分类: cs.CV, cs.AI
发布日期: 2025-10-12
备注: Draft version, work in progress
💡 一句话要点
首个基于图像-语言预训练模型的图像到视频迁移学习的综述
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像到视频迁移学习 图像-语言预训练模型 视频理解 视频-文本学习 迁移学习 多模态学习 深度学习
📋 核心要点
- 视频-语言预训练模型训练需要大量数据和算力，成本高昂。
- 利用图像-语言预训练模型进行迁移学习，可有效降低视频-文本学习的成本。
- 该综述系统性地整理了图像到视频迁移学习的策略，并分析了其在不同视频任务中的表现。
📝 摘要（中文）
图像-语言预训练模型(ILFM)在图像-文本理解/生成任务中取得了显著成功，提供了可迁移的多模态表示，能够泛化到各种下游图像任务。视频-文本研究的进展激发了人们将基于图像的模型扩展到视频领域的兴趣。这种范式被称为图像到视频的迁移学习，成功地缓解了从头开始训练视频-语言预训练模型以进行视频-文本学习所需的大量数据和计算资源。本综述首次全面回顾了这一新兴领域，首先总结了广泛使用的ILFM及其能力。然后，我们根据是否保留或修改来自ILFM的原始表示，将现有的图像到视频迁移学习策略系统地分为两类：冻结特征和修改特征。基于图像到视频迁移的任务特定性质，本综述系统地阐述了这些策略，并详细介绍了它们在各种视频-文本学习任务中的应用，从细粒度（例如，时空视频定位）到粗粒度（例如，视频问答）。我们进一步提出了详细的实验分析，以研究不同的图像到视频迁移学习范式在一系列下游视频理解任务中的有效性。最后，我们确定了普遍存在的挑战，并强调了未来研究的有希望的方向。通过提供全面和结构化的概述，本综述旨在为基于现有ILFM推进视频-文本学习建立结构化的路线图，并激发这个快速发展领域中未来的研究方向。
🔬 方法详解
问题定义：现有视频-语言模型训练成本高昂，需要大量标注数据和计算资源。直接从头训练视频-语言模型不切实际。图像-语言预训练模型在图像领域表现出色，如何有效利用这些模型来提升视频理解能力，同时降低训练成本，是一个重要的研究问题。
核心思路：利用已有的图像-语言预训练模型(ILFM)的强大表征能力，通过迁移学习的方式，将其知识迁移到视频领域。核心在于如何有效地将图像领域的知识适配到视频领域，从而避免从头训练视频-语言模型。
技术框架：该综述将现有的图像到视频迁移学习策略分为两大类：冻结特征和修改特征。冻结特征是指直接使用ILFM提取的特征，不进行任何修改；修改特征是指对ILFM提取的特征进行调整或融合，以适应视频数据的特点。整体流程包括：选择合适的ILFM，提取图像特征，将图像特征适配到视频数据，在下游视频任务上进行微调或训练。
关键创新：该综述首次对图像到视频的迁移学习方法进行了全面的总结和分类，并从冻结特征和修改特征两个角度对现有方法进行了分析。此外，该综述还对不同迁移学习策略在不同视频任务上的表现进行了实验分析，为研究人员提供了有价值的参考。
关键设计：关键设计在于如何将图像特征与视频的时序信息进行融合。常见的方法包括：使用循环神经网络（RNN）或Transformer来建模视频的时序关系，使用3D卷积神经网络来提取视频的时空特征，以及使用注意力机制来关注视频中的关键帧或片段。此外，损失函数的设计也至关重要，需要根据具体的下游任务进行调整。
📊 实验亮点
该综述对不同的图像到视频迁移学习范式在一系列下游视频理解任务上进行了详细的实验分析，结果表明，通过合适的迁移学习策略，可以显著提升视频理解的性能。例如，在视频问答任务中，基于图像-语言预训练模型的迁移学习方法可以达到与从头训练的视频-语言模型相近甚至更好的效果。
🎯 应用场景
该研究成果可广泛应用于视频理解、视频检索、视频问答、视频生成等领域。通过利用图像-语言预训练模型的知识，可以有效提升视频分析的性能，并降低开发成本。未来，该技术有望在智能监控、自动驾驶、智能家居等领域发挥重要作用。
📄 摘要（原文）
Image-Language Foundation Models (ILFM) have demonstrated remarkable success in image-text understanding/generation tasks, providing transferable multimodal representations that generalize across diverse downstream image-based tasks. The advancement of video-text research has spurred growing interest in extending image-based models to the video domain. This paradigm, known as image-to-video transfer learning, succeeds in alleviating the substantial data and computational requirements associated with training video-language foundation models from scratch for video-text learning. This survey provides the first comprehensive review of this emerging field, which begins by summarizing the widely used ILFM and their capabilities. We then systematically classify existing image-to-video transfer learning strategies into two categories: frozen features and modified features, depending on whether the original representations from ILFM are preserved or undergo modifications. Building upon the task-specific nature of image-to-video transfer, this survey methodically elaborates these strategies and details their applications across a spectrum of video-text learning tasks, ranging from fine-grained (e.g., spatio-temporal video grounding) to coarse-grained (e.g., video question answering). We further present a detailed experimental analysis to investigate the efficacy of different image-to-video transfer learning paradigms on a range of downstream video understanding tasks. Finally, we identify prevailing challenges and highlight promising directions for future research. By offering a comprehensive and structured overview, this survey aims to establish a structured roadmap for advancing video-text learning based on existing ILFM, and to inspire future research directions in this rapidly evolving domain.