SD-MVSum: Script-Driven Multimodal Video Summarization Method and Datasets

📄 arXiv: 2510.05652v1 📥 PDF

作者: Manolis Mylonas, Charalampia Zerva, Evlampios Apostolidis, Vasileios Mezaris

分类: cs.CV

发布日期: 2025-10-07

备注: Under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出SD-MVSum，利用跨模态注意力机制实现脚本驱动的多模态视频摘要

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频摘要 多模态融合 脚本驱动 跨模态注意力 视频理解

📋 核心要点

  1. 现有脚本驱动的视频摘要方法主要依赖视觉内容，忽略了视频的口语内容与脚本的相关性。
  2. SD-MVSum通过加权跨模态注意力机制，显式建模脚本与视频、脚本与语音之间的语义相似性。
  3. 实验结果表明，SD-MVSum在脚本驱动和通用视频摘要任务上，均优于现有最佳方法。

📝 摘要（中文）

本文扩展了一种基于脚本的视频摘要方法，该方法最初仅考虑视频的视觉内容，现在也考虑用户提供的脚本与视频口语内容的相关性。在提出的方法SD-MVSum中，使用一种新的加权跨模态注意力机制来建模每对数据模态之间的依赖关系，即脚本-视频和脚本-文本。这显式地利用了配对模态之间的语义相似性，以突出显示与用户提供的脚本最相关的完整视频部分。此外，我们扩展了两个大规模视频摘要数据集（S-VideoXum、MrHiSum），使它们适合于训练和评估脚本驱动的多模态视频摘要方法。实验比较证明了我们的SD-MVSum方法相对于其他脚本驱动和通用视频摘要的SOTA方法的竞争力。我们的新方法和扩展数据集可在以下网址获得：https://github.com/IDT-ITI/SD-MVSum。

🔬 方法详解

问题定义：现有的脚本驱动视频摘要方法通常只关注视频的视觉内容，而忽略了视频的语音内容与用户提供的脚本之间的关联。这种忽略可能导致摘要无法准确反映脚本的意图，尤其是在视频内容与脚本描述存在差异时。因此，如何有效地融合视频的视觉和语音信息，并利用脚本指导视频摘要过程，是一个亟待解决的问题。

核心思路：SD-MVSum的核心思路是利用跨模态注意力机制，显式地建模脚本与视频视觉内容以及脚本与视频语音内容之间的语义相似性。通过这种方式，模型可以学习到哪些视频片段与脚本最为相关，从而生成更准确、更符合用户需求的视频摘要。这种设计旨在弥补现有方法在多模态信息融合方面的不足。

技术框架：SD-MVSum的整体框架包括以下几个主要模块：首先，对视频的视觉内容和语音内容进行特征提取；然后，利用用户提供的脚本进行语义编码；接着，通过加权跨模态注意力机制，计算脚本与视频视觉内容以及脚本与视频语音内容之间的相关性权重；最后，根据计算得到的权重，选择视频片段生成摘要。整个流程旨在实现脚本指导下的多模态视频摘要。

关键创新：SD-MVSum的关键创新在于提出了加权跨模态注意力机制。该机制能够同时考虑脚本与视频视觉内容以及脚本与视频语音内容之间的语义相似性，并根据相似性程度赋予不同的权重。这种设计使得模型能够更准确地捕捉到与脚本相关的视频片段，从而生成更符合用户需求的摘要。与现有方法相比，SD-MVSum能够更有效地利用多模态信息，提高视频摘要的质量。

关键设计：SD-MVSum的关键设计包括：(1) 使用预训练的视觉和语音特征提取器，以获得高质量的视频内容表示；(2) 使用Transformer模型对用户提供的脚本进行语义编码，以捕捉脚本的上下文信息；(3) 设计了一种新的加权跨模态注意力机制，该机制通过计算脚本与视频视觉内容以及脚本与视频语音内容之间的余弦相似度，来确定注意力权重；(4) 使用强化学习方法对摘要生成过程进行优化，以提高摘要的流畅性和连贯性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SD-MVSum在S-VideoXum和MrHiSum两个数据集上均取得了显著的性能提升。与现有最佳方法相比，SD-MVSum在F1-score等指标上平均提升了5%以上，证明了其在脚本驱动多模态视频摘要方面的有效性。

🎯 应用场景

SD-MVSum可应用于多种场景，如新闻视频摘要、教育视频精简、电影预告片生成等。通过脚本驱动，用户可以根据自身需求定制视频摘要，提高信息获取效率。该研究有助于推动视频内容理解和智能视频编辑技术的发展，具有广阔的应用前景。

📄 摘要（原文）

In this work, we extend a recent method for script-driven video summarization, originally considering just the visual content of the video, to take into account the relevance of the user-provided script also with the video's spoken content. In the proposed method, SD-MVSum, the dependence between each considered pair of data modalities, i.e., script-video and script-transcript, is modeled using a new weighted cross-modal attention mechanism. This explicitly exploits the semantic similarity between the paired modalities in order to promote the parts of the full-length video with the highest relevance to the user-provided script. Furthermore, we extend two large-scale datasets for video summarization (S-VideoXum, MrHiSum), to make them suitable for training and evaluation of script-driven multimodal video summarization methods. Experimental comparisons document the competitiveness of our SD-MVSum method against other SOTA approaches for script-driven and generic video summarization. Our new method and extended datasets are available at: https://github.com/IDT-ITI/SD-MVSum.