Rethinking Video-Text Understanding: Retrieval from Counterfactually Augmented Data
作者: Wufei Ma, Kai Li, Zhongshi Jiang, Moustafa Meshry, Qihao Liu, Huiyu Wang, Christian Häne, Alan Yuille
分类: cs.CV
发布日期: 2024-07-18
备注: ECCV 2024. Project page: https://feint6k.github.io
💡 一句话要点
提出基于对抗增强数据的视频-文本检索评估方法，并利用LLM提升模型性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频-文本理解 对抗数据增强 视频检索 大型语言模型 动作语义学习
📋 核心要点
- 现有视频-文本模型评估易受数据集偏差影响，无法真实反映模型对视频内容的理解能力。
- 提出基于对抗增强数据的检索（RCAD）评估任务，要求模型进行跨帧推理以理解视频内容。
- 引入LLM-teacher方法，利用大型语言模型的知识学习动作语义，提升模型在RCAD任务上的性能。
📝 摘要（中文）
近期的视频-文本基础模型在各种下游视频理解任务中表现出强大的性能。然而，这些模型是否真正理解了自然视频的内容？标准的视频-文本评估可能具有误导性，因为许多问题可以仅从单帧中的对象和上下文或数据集中固有的偏差中推断出来。本文旨在更好地评估当前视频-文本模型的能力并了解其局限性。我们提出了一种新的视频-文本理解评估任务，即基于对抗增强数据的检索（RCAD），以及一个新的Feint6K数据集。为了在我们的新评估任务中取得成功，模型必须从跨帧推理中获得对视频的全面理解。分析表明，先前的视频-文本基础模型很容易被对抗增强数据所迷惑，并且远远落后于人类水平。为了缩小视频-文本模型与人类在RCAD上的性能差距，我们确定了当前对比方法在视频-文本数据上的一个关键限制，并引入了LLM-teacher，这是一种更有效的方法，通过利用从预训练的大型语言模型获得的知识来学习动作语义。实验和分析表明，我们的方法成功地学习了更具区分性的动作嵌入，并在应用于多个视频-文本模型时提高了Feint6K上的结果。我们的Feint6K数据集和项目页面可在https://feint6k.github.io上找到。
🔬 方法详解
问题定义：现有视频-文本模型在标准评估中表现良好，但可能只是利用了数据集偏差或单帧信息，缺乏对视频内容的真正理解，尤其是在需要跨帧推理的场景下。因此，需要一种更严格的评估方法来检验模型的泛化能力和推理能力。
核心思路：核心思路是通过对抗性数据增强来迷惑模型，迫使其进行更深入的理解。具体来说，通过修改视频中的某些元素（例如，改变动作的执行者或对象），创建一个反事实的场景，然后要求模型根据修改后的视频检索正确的文本描述。如果模型能够正确检索，则表明它真正理解了视频的内容，而不仅仅是依赖于表面特征。
技术框架：该研究主要包含两个部分：一是构建新的评估数据集Feint6K，该数据集包含对抗增强的视频-文本对；二是提出LLM-teacher方法，利用预训练的大型语言模型来指导视频-文本模型的训练。LLM-teacher方法首先使用LLM生成视频动作的描述，然后将这些描述作为监督信号，用于训练视频-文本模型，使其能够学习更具区分性的动作嵌入。
关键创新：关键创新在于提出了基于对抗增强数据的检索（RCAD）评估任务，这种评估方式能够更有效地检验视频-文本模型的理解能力。此外，LLM-teacher方法也是一个创新点，它利用大型语言模型的知识来提升视频-文本模型的性能。
关键设计：Feint6K数据集的构建过程包括选择合适的视频片段，然后使用人工或自动的方式进行对抗性修改。LLM-teacher方法的关键在于如何有效地利用LLM生成的描述作为监督信号，例如，可以使用对比学习的方式，将LLM生成的描述与视频片段的嵌入向量进行对齐。损失函数的设计也至关重要，需要能够促使模型学习更具区分性的动作嵌入。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的视频-文本模型在Feint6K数据集上的表现远低于人类水平，表明它们容易被对抗增强数据所迷惑。通过引入LLM-teacher方法，多个视频-文本模型在Feint6K数据集上的性能得到了显著提升，证明了该方法的有效性。具体的性能提升幅度在论文中进行了详细的量化。
🎯 应用场景
该研究成果可应用于视频内容理解、视频检索、视频问答等领域。通过更严格的评估方法，可以推动视频-文本模型的发展，使其能够更好地理解视频内容，从而提升相关应用的用户体验。此外，LLM-teacher方法也可以推广到其他多模态学习任务中，例如图像-文本匹配等。
📄 摘要（原文）
Recent video-text foundation models have demonstrated strong performance on a wide variety of downstream video understanding tasks. Can these video-text models genuinely understand the contents of natural videos? Standard video-text evaluations could be misleading as many questions can be inferred merely from the objects and contexts in a single frame or biases inherent in the datasets. In this paper, we aim to better assess the capabilities of current video-text models and understand their limitations. We propose a novel evaluation task for video-text understanding, namely retrieval from counterfactually augmented data (RCAD), and a new Feint6K dataset. To succeed on our new evaluation task, models must derive a comprehensive understanding of the video from cross-frame reasoning. Analyses show that previous video-text foundation models can be easily fooled by counterfactually augmented data and are far behind human-level performance. In order to narrow the gap between video-text models and human performance on RCAD, we identify a key limitation of current contrastive approaches on video-text data and introduce LLM-teacher, a more effective approach to learn action semantics by leveraging knowledge obtained from a pretrained large language model. Experiments and analyses show that our approach successfully learn more discriminative action embeddings and improves results on Feint6K when applied to multiple video-text models. Our Feint6K dataset and project page is available at https://feint6k.github.io.