Learning Temporal Sentence Grounding From Narrated EgoVideos

📄 arXiv: 2310.17395v1 📥 PDF

作者: Kevin Flanagan, Dima Damen, Michael Wray

分类: cs.CV

发布日期: 2023-10-26

备注: Accepted in BMVC 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出Clip Merging方法以解决长视频中的时间句子定位问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间句子定位 长视频理解 自我中心数据集 片段合并 文本条件注意力 对比训练 视频分析 深度学习

📋 核心要点

  1. 长视频数据集中的时间句子定位任务面临句子与视频长度不匹配的挑战，现有方法难以有效处理。
  2. 本文提出的Clip Merging方法通过合并视频片段并利用文本条件注意力进行对比训练，从而实现更精准的时间句子定位。
  3. 实验结果表明，CliMer方法在Ego4D和EPIC-Kitchens数据集上显著提升了时间句子定位的性能，验证了其有效性。

📝 摘要（中文）

随着Ego4D和EPIC-Kitchens等长时段自我中心数据集的出现，时间句子定位（TSG）任务面临新的挑战。这些数据集提供了更细粒度的句子，需要在显著更长的视频中进行定位。本文提出了一种仅利用叙述及其对应的粗略时间戳进行句子定位的方法。我们提出了通过文本条件注意力以对比方式训练的Clip Merging（CliMer）方法。与高性能的TSG方法相比，该方法在Ego4D上的平均R@1从3.9提高到5.7，在EPIC-Kitchens上从10.7提高到13.0，显示出其有效性。

🔬 方法详解

问题定义：本文旨在解决在长视频中进行时间句子定位的挑战，现有方法在处理长视频和细粒度句子时效果不佳，导致定位精度低。

核心思路：提出Clip Merging方法，通过合并视频片段并利用文本条件注意力进行对比训练，以增强模型对时间句子的理解和定位能力。

技术框架：整体架构包括数据预处理、片段合并、模型训练和评估四个主要阶段。首先对视频进行片段化处理，然后合并片段并生成对应的文本描述，最后训练模型进行时间句子定位。

关键创新：最重要的创新在于Clip Merging方法的提出，它通过合并片段的方式增强了模型对长视频中细粒度句子的定位能力，与现有方法相比，显著提高了定位精度。

关键设计：在模型设计中，采用了文本条件注意力机制，并设置了特定的损失函数以优化时间句子定位的效果，确保模型能够有效学习到句子与视频片段之间的对应关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CliMer方法在Ego4D数据集上的平均R@1从3.9提升至5.7，在EPIC-Kitchens数据集上从10.7提升至13.0，表明该方法在时间句子定位任务中具有显著的性能提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、智能家居、虚拟现实等场景，能够帮助系统更好地理解和处理长视频内容。通过提高时间句子定位的准确性，未来可以在自动视频摘要、内容检索等方面发挥重要作用，提升用户体验。

📄 摘要（原文）

The onset of long-form egocentric datasets such as Ego4D and EPIC-Kitchens presents a new challenge for the task of Temporal Sentence Grounding (TSG). Compared to traditional benchmarks on which this task is evaluated, these datasets offer finer-grained sentences to ground in notably longer videos. In this paper, we develop an approach for learning to ground sentences in these datasets using only narrations and their corresponding rough narration timestamps. We propose to artificially merge clips to train for temporal grounding in a contrastive manner using text-conditioning attention. This Clip Merging (CliMer) approach is shown to be effective when compared with a high performing TSG method -- e.g. mean R@1 improves from 3.9 to 5.7 on Ego4D and from 10.7 to 13.0 on EPIC-Kitchens. Code and data splits available from: https://github.com/keflanagan/CliMer