StoryTeller: Improving Long Video Description through Global Audio-Visual Character Identification

📄 arXiv: 2411.07076v3 📥 PDF

作者: Yichen He, Yuan Lin, Jianchao Wu, Hanchong Zhang, Yuchen Zhang, Ruicheng Le

分类: cs.CV, cs.AI

发布日期: 2024-11-11 (更新: 2025-07-30)

💡 一句话要点

StoryTeller：通过全局音视频角色识别改进长视频描述

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频描述 音视频角色识别 多模态融合 大型语言模型 视频理解

📋 核心要点

  1. 现有LVLM在处理长视频时，难以保持角色识别的一致性，并缺乏对音视频信息融合的有效手段。
  2. StoryTeller通过音视频角色识别，将角色名称与对话匹配，提升长视频描述的一致性和准确性。
  3. 实验表明，StoryTeller在MovieStory101数据集上显著优于现有模型，并在StoryQA上取得了9.5%的准确率提升。

📝 摘要（中文）

现有的大型视觉-语言模型(LVLMs)主要局限于处理短至几秒的视频，难以生成对长达数分钟或更长时间的视频的连贯描述。长视频描述带来了新的挑战，例如一致的角色识别以及包含视觉和音频信息的剧情级描述。为了解决这些问题，我们发现音视频角色识别（将角色名称与每个对话匹配）是一个关键因素。我们提出了StoryTeller，一个用于生成长视频密集描述的系统，它结合了低级视觉概念和高级情节信息。StoryTeller使用多模态大型语言模型，该模型集成了视觉、音频和文本模态，以对分钟级视频片段执行音视频角色识别。然后将结果输入到LVLM中，以增强视频描述的一致性。我们在电影描述任务上验证了我们的方法，并引入了MovieStory101，这是一个包含三分钟电影片段的密集描述的数据集。为了评估长视频描述，我们为MovieStory101测试集创建了StoryQA，这是一个大型多项选择题集合。我们通过将描述输入到GPT-4中来回答这些问题来评估描述，使用准确性作为自动评估指标。实验表明，StoryTeller在StoryQA上优于所有开源和闭源基线，比最强的基线Gemini-1.5-pro高出9.5%的准确率，并在人工并排评估中表现出+15.56%的优势。此外，整合来自StoryTeller的音视频角色识别可以提高所有视频描述模型的性能，Gemini-1.5-pro和GPT-4o在StoryQA上的准确率分别相对提高了5.5%和13.0%。

🔬 方法详解

问题定义：现有的大型视觉-语言模型在处理长视频时，面临着角色识别不一致、无法有效融合音频信息以及难以生成连贯剧情描述等问题。这些问题限制了模型在理解和描述长视频内容方面的能力。现有方法通常只关注视觉信息，忽略了音频信息的重要性，并且缺乏对角色身份的长期跟踪机制。

核心思路：StoryTeller的核心思路是通过音视频角色识别来增强长视频描述的一致性和准确性。该方法将角色名称与对话进行匹配，从而使模型能够更好地理解视频中的人物关系和情节发展。通过融合视觉、音频和文本信息，StoryTeller能够生成更全面、更连贯的视频描述。

技术框架：StoryTeller的整体架构包含以下几个主要模块：1) 多模态大型语言模型：用于整合视觉、音频和文本信息，并执行音视频角色识别。2) 音视频角色识别模块：用于将角色名称与对话进行匹配。3) 视频描述生成模块：利用LVLM生成长视频的密集描述。整个流程是首先利用多模态LLM进行音视频角色识别，然后将识别结果输入到LVLM中，以生成最终的视频描述。

关键创新：StoryTeller最重要的技术创新点在于音视频角色识别模块。该模块能够有效地将角色名称与对话进行匹配，从而解决了长视频描述中角色识别不一致的问题。此外，StoryTeller还创新性地提出了MovieStory101数据集和StoryQA评估指标，为长视频描述的研究提供了新的资源和评估方法。

关键设计：StoryTeller的关键设计包括：1) 多模态LLM的架构设计，需要能够有效地融合视觉、音频和文本信息。2) 音视频角色识别模块的算法设计，需要能够准确地将角色名称与对话进行匹配。3) MovieStory101数据集的构建，需要包含高质量的视频片段和密集描述。4) StoryQA评估指标的设计，需要能够有效地评估长视频描述的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

StoryTeller在MovieStory101数据集上取得了显著的性能提升，在StoryQA评估指标上，StoryTeller的准确率比最强的基线Gemini-1.5-pro高出9.5%，并在人工并排评估中表现出+15.56%的优势。此外，将StoryTeller的音视频角色识别结果整合到Gemini-1.5-pro和GPT-4o中，分别使它们的准确率相对提高了5.5%和13.0%。

🎯 应用场景

StoryTeller技术可应用于电影、电视剧等长视频内容的自动理解与描述，辅助视频检索、内容推荐、智能剪辑等任务。该技术还可用于教育视频、纪录片等领域，提升用户对视频内容的理解和学习效率。未来，该技术有望在智能客服、虚拟助手等领域发挥重要作用。

📄 摘要（原文）

Existing large vision-language models (LVLMs) are largely limited to processing short, seconds-long videos and struggle with generating coherent descriptions for extended video spanning minutes or more. Long video description introduces new challenges, such as consistent character identification and plot-level descriptions incorporating both visual and audio information. To address these, we figure out audio-visual character identification, matching character names to each dialogue, as a key factor. We propose StoryTeller, a system for generating dense descriptions of long videos, incorporating both low-level visual concepts and high-level plot information. StoryTeller uses a multimodal large language model that integrates visual, audio, and text modalities to perform audio-visual character identification on minute-long video clips. The results are then fed into a LVLM to enhance consistency of video description. We validate our approach on movie description tasks and introduce MovieStory101, a dataset with dense descriptions for three-minute movie clips. To evaluate long video descriptions, we create StoryQA, a large set of multiple-choice questions for MovieStory101 test set. We assess descriptions by inputting them into GPT-4 to answer these questions, using accuracy as an automatic evaluation metric. Experiments show that StoryTeller outperforms all open and closed-source baselines on StoryQA, achieving 9.5% higher accuracy than the strongest baseline, Gemini-1.5-pro, and demonstrating a +15.56% advantage in human side-by-side evaluations. Additionally, incorporating audio-visual character identification from StoryTeller improves the performance of all video description models, with Gemini-1.5-pro and GPT-4o showing relative improvement of 5.5% and 13.0%, respectively, in accuracy on StoryQA.