Open-Vocabulary Video Relation Extraction

📄 arXiv: 2312.15670v1 📥 PDF

作者: Wentao Tian, Zheng Wang, Yuqian Fu, Jingjing Chen, Lechao Cheng

分类: cs.CV

发布日期: 2023-12-25

备注: accpeted by AAAI 2024

💡 一句话要点

提出开放词汇视频关系抽取任务(OVRE)，以提升视频动作理解的细粒度。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇视频关系抽取 视频理解 关系抽取 跨模态学习 动作识别 视频分析

📋 核心要点

  1. 现有视频理解方法侧重通用动作分类，忽略了动作中参与者和关系，导致理解不够深入。
  2. 论文提出开放词汇视频关系抽取(OVRE)任务，关注动作中的成对关系，并用自然语言描述关系三元组。
  3. 构建了包含18万视频的Moments-OVRE数据集，并提出了跨模态映射模型，对现有模型进行了基准测试。

📝 摘要（中文）

为了更全面地理解视频，需要描述动作及其上下文中的动作-对象交互。然而，当前许多视频理解任务侧重于通用动作分类，忽略了塑造动作本质的参与者和关系，导致对动作的理解不够深入。为此，我们提出了开放词汇视频关系抽取（OVRE）这一新任务，该任务从以动作为中心的关系三元组的角度看待动作理解。OVRE关注参与动作的成对关系，并用自然语言描述这些关系三元组。此外，我们整理了Moments-OVRE数据集，该数据集包含18万个带有以动作为中心的关系三元组的视频，这些视频来自多标签动作分类数据集。基于Moments-OVRE，我们进一步提出了一个跨模态映射模型来生成关系三元组序列。最后，我们在新的OVRE任务上对现有的跨模态生成模型进行了基准测试。

🔬 方法详解

问题定义：现有视频理解任务主要集中在动作分类，忽略了视频中动作与对象之间的关系，以及不同对象之间的交互关系。这种简化导致对视频内容的理解不够深入，无法捕捉动作的细粒度信息。因此，需要一种能够显式地提取和描述视频中关系的方法。

核心思路：论文的核心思路是将视频理解转化为关系抽取问题，通过识别视频中动作、对象以及它们之间的关系来更全面地理解视频内容。这种方法借鉴了自然语言处理中的关系抽取思想，并将其扩展到视频领域。通过开放词汇的方式，允许模型识别和描述各种各样的关系，避免了预定义的关系类型的限制。

技术框架：该方法主要包含以下几个阶段：1) 视频特征提取：使用预训练的视觉模型（例如，ResNet、I3D）提取视频帧的视觉特征。2) 关系三元组生成：设计一个跨模态映射模型，将视频特征映射到关系三元组序列。该模型可以采用序列到序列的架构，例如Transformer或LSTM，将视频特征作为输入，生成包含主语、谓语和宾语的关系三元组序列。3) 关系三元组评估：使用指标（例如，BLEU、ROUGE）评估生成的关系三元组的质量。

关键创新：该论文的关键创新在于提出了开放词汇视频关系抽取（OVRE）任务，并构建了相应的Moments-OVRE数据集。与传统的视频理解任务相比，OVRE任务更加关注视频中动作与对象之间的关系，以及不同对象之间的交互关系。此外，开放词汇的设定允许模型识别和描述各种各样的关系，避免了预定义的关系类型的限制。

关键设计：在跨模态映射模型中，可以使用注意力机制来关注视频中与关系相关的关键帧或区域。损失函数可以采用交叉熵损失或序列生成损失，以优化模型生成关系三元组的能力。数据集Moments-OVRE包含18万个视频，每个视频都标注了以动作为中心的关系三元组，这些三元组用自然语言描述。

📊 实验亮点

论文构建了包含18万视频的Moments-OVRE数据集，并对现有跨模态生成模型进行了基准测试。实验结果表明，现有模型在OVRE任务上仍有很大的提升空间，为未来的研究提供了方向。具体的性能数据和对比基线需要在论文中查找。

🎯 应用场景

该研究成果可应用于视频内容理解、智能视频监控、视频检索和推荐等领域。例如，在智能视频监控中，可以利用OVRE技术识别异常行为和事件，并生成相应的报警信息。在视频检索和推荐中，可以根据视频中包含的关系信息，更准确地检索和推荐用户感兴趣的视频。

📄 摘要（原文）

A comprehensive understanding of videos is inseparable from describing the action with its contextual action-object interactions. However, many current video understanding tasks prioritize general action classification and overlook the actors and relationships that shape the nature of the action, resulting in a superficial understanding of the action. Motivated by this, we introduce Open-vocabulary Video Relation Extraction (OVRE), a novel task that views action understanding through the lens of action-centric relation triplets. OVRE focuses on pairwise relations that take part in the action and describes these relation triplets with natural languages. Moreover, we curate the Moments-OVRE dataset, which comprises 180K videos with action-centric relation triplets, sourced from a multi-label action classification dataset. With Moments-OVRE, we further propose a crossmodal mapping model to generate relation triplets as a sequence. Finally, we benchmark existing cross-modal generation models on the new task of OVRE.