HowToCaption: Prompting LLMs to Transform Video Annotations at Scale

📄 arXiv: 2310.04900v2 📥 PDF

作者: Nina Shvetsova, Anna Kukleva, Xudong Hong, Christian Rupprecht, Bernt Schiele, Hilde Kuehne

分类: cs.CV

发布日期: 2023-10-07 (更新: 2024-09-07)

备注: https://github.com/ninatu/howtocaption

💡 一句话要点

提出利用大型语言模型生成高质量视频字幕以解决视频标注不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频字幕生成 大型语言模型 自动语音识别 多模态学习 教学视频

📋 核心要点

  1. 现有的自动语音识别系统生成的字幕与视频内容存在差异，导致标注质量不高，影响模型训练效果。
  2. 本文提出通过大型语言模型生成高质量视频字幕，利用ASR字幕作为提示，捕捉更丰富的上下文信息。
  3. 实验结果显示，生成的字幕在多个基准数据集上显著提升了文本-视频检索和视频字幕生成的性能。

📝 摘要（中文）

教学视频是学习文本-视频或多模态表示的常见来源，通常通过自动语音识别系统提取字幕。然而，与人工标注的字幕相比，语音和字幕与视频的视觉内容自然存在差异，导致监督信号噪声较大。因此，现有的大规模无标注网络视频训练数据对于训练文本-视频模型的效果不佳。本文提出利用大型语言模型（LLMs）生成与视频对齐的高质量视频描述，具体方法是基于教学视频的ASR字幕提示LLM生成合理的视频字幕，并生成时间戳以实现字幕与视频的时间对齐。通过这种方式，我们在没有人工监督的情况下大规模生成类似人类风格的视频字幕，并应用于HowTo100M数据集，创建了新的大规模数据集HowToCaption。评估结果表明，生成的字幕在多个基准数据集上显著提升了零-shot文本-视频检索和视频字幕生成的性能。

🔬 方法详解

问题定义：本文旨在解决现有自动语音识别生成的字幕与视频内容不一致的问题，导致训练数据质量低下，影响文本-视频模型的性能。

核心思路：通过提示大型语言模型生成与视频内容更为一致的高质量字幕，利用ASR字幕提供的上下文信息，提升字幕的准确性和相关性。

技术框架：整体流程包括三个主要阶段：首先，提取教学视频的ASR字幕；其次，利用LLM生成与字幕对应的高质量视频描述；最后，生成时间戳并将字幕与视频进行时间对齐。

关键创新：引入了一种新的提示方法，使得LLM能够处理更长的字幕文本，从而捕捉更丰富的上下文信息，这是与现有方法的本质区别。

关键设计：在生成字幕时，设计了特定的提示格式，以确保LLM能够理解字幕的上下文，并生成相应的时间戳以实现字幕与视频的精确对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，生成的字幕在多个基准数据集上显著提升了性能，尤其是在零-shot文本-视频检索和视频字幕生成任务中，性能提升幅度达到XX%（具体数据未知），有效改善了文本、视频和音频任务的解耦效果。

🎯 应用场景

该研究的潜在应用领域包括教育、视频内容生成和多模态学习等。通过生成高质量的字幕，可以提升教学视频的可理解性和可访问性，促进学习效果。同时，该方法也可应用于视频检索和内容推荐系统，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Instructional videos are a common source for learning text-video or even multimodal representations by leveraging subtitles extracted with automatic speech recognition systems (ASR) from the audio signal in the videos. However, in contrast to human-annotated captions, both speech and subtitles naturally differ from the visual content of the videos and thus provide only noisy supervision. As a result, large-scale annotation-free web video training data remains sub-optimal for training text-video models. In this work, we propose to leverage the capabilities of large language models (LLMs) to obtain high-quality video descriptions aligned with videos at scale. Specifically, we prompt an LLM to create plausible video captions based on ASR subtitles of instructional videos. To this end, we introduce a prompting method that is able to take into account a longer text of subtitles, allowing us to capture the contextual information beyond one single sentence. We further prompt the LLM to generate timestamps for each produced caption based on the timestamps of the subtitles and finally align the generated captions to the video temporally. In this way, we obtain human-style video captions at scale without human supervision. We apply our method to the subtitles of the HowTo100M dataset, creating a new large-scale dataset, HowToCaption. Our evaluation shows that the resulting captions not only significantly improve the performance over many different benchmark datasets for zero-shot text-video retrieval and video captioning, but also lead to a disentangling of textual narration from the audio, boosting the performance in text-video-audio tasks.