Multi-object event graph representation learning for Video Question Answering

📄 arXiv: 2409.07747v1 📥 PDF

作者: Yanan Wang, Shuichiro Haruta, Donghuo Zeng, Julio Vizcarra, Mori Kurokawa

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-09-12

备注: presented at MIRU2024

💡 一句话要点

提出CLanG，利用对比学习多对象事件图表示，提升视频问答中复杂场景理解能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频问答 多对象交互 事件图 图神经网络 对比学习 因果推理 时间推理

📋 核心要点

  1. 现有VideoQA方法在捕捉多对象交互的复杂场景时存在不足，无法有效进行因果和时间推理。
  2. CLanG通过构建多对象事件图，并利用对比学习方法，学习问题文本和事件图之间的关联表示。
  3. 实验结果表明，CLanG在NExT-QA和TGIF-QA-R数据集上显著提升了VideoQA的准确率，尤其在因果和时间推理方面。

📝 摘要（中文）

本文提出了一种用于视频问答（VideoQA）的对比语言事件图表示学习方法，称为CLanG。VideoQA任务旨在预测给定视频相关问题的正确答案。系统必须理解从视频中提取的对象之间的空间和时间关系，以进行因果和时间推理。现有工作主要集中在使用基于Transformer的方法对单个对象运动进行建模，但在涉及多个对象的复杂场景中表现不佳。为了解决这一局限性，CLanG采用多层GNN-cluster模块进行对抗图表示学习，从而实现问题文本与其相关的多对象事件图之间的对比学习。在NExT-QA和TGIF-QA-R两个具有挑战性的VideoQA数据集上，该方法优于强大的基线，准确率提高了2.2%。尤其是在处理因果和时间问题时，比基线提高了2.8%，突出了其在推理基于多对象的事件方面的优势。

🔬 方法详解

问题定义：论文旨在解决视频问答任务中，现有方法难以有效建模多对象交互场景的问题。现有方法主要关注单个对象的运动，忽略了对象之间的复杂关系，导致在需要因果和时间推理的场景下表现不佳。

核心思路：论文的核心思路是构建多对象事件图，将视频中的对象及其关系表示为图结构。然后，通过对比学习，使问题文本的表示与相关的多对象事件图的表示更加接近，从而提高模型对复杂场景的理解能力。

技术框架：CLanG包含以下主要模块：1) 对象检测与跟踪模块，用于提取视频中的对象及其轨迹；2) 多对象事件图构建模块，根据对象之间的空间和时间关系构建图结构；3) 多层GNN-cluster模块，用于学习图表示；4) 对比学习模块，用于优化问题文本和事件图的表示。整体流程是：输入视频和问题，提取对象，构建事件图，学习图表示，通过对比学习优化表示，最后预测答案。

关键创新：最重要的技术创新点是多对象事件图的构建和对比学习方法的应用。与现有方法相比，CLanG能够显式地建模对象之间的关系，并通过对比学习提高模型对这些关系的理解能力。GNN-cluster模块的设计也使得模型能够更好地捕捉图结构中的信息。

关键设计：GNN-cluster模块采用多层GNN结构，每层GNN之后进行一次聚类操作，将相似的节点聚合成簇，从而减少图的复杂度。对比学习采用InfoNCE损失函数，鼓励正样本对（问题文本和相关的事件图）的表示更加接近，负样本对的表示更加远离。具体的参数设置和网络结构细节在论文中有详细描述，例如GNN的层数、聚类算法的选择、损失函数的权重等。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CLanG在NExT-QA和TGIF-QA-R两个数据集上分别取得了高达2.2%的准确率提升。尤其是在处理因果和时间问题时，CLanG比基线提高了2.8%，证明了其在理解多对象交互事件方面的优势。这些结果表明，CLanG是一种有效的视频问答方法，能够显著提高模型对复杂场景的理解能力。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、视频内容理解等领域。例如，在智能监控中，可以利用该方法理解监控视频中多个人的行为交互，从而及时发现异常事件。在自动驾驶中，可以帮助车辆理解周围车辆和行人的行为意图，从而做出更安全的决策。此外，该方法还可以用于视频搜索、视频推荐等应用，提高用户体验。

📄 摘要（原文）

Video question answering (VideoQA) is a task to predict the correct answer to questions posed about a given video. The system must comprehend spatial and temporal relationships among objects extracted from videos to perform causal and temporal reasoning. While prior works have focused on modeling individual object movements using transformer-based methods, they falter when capturing complex scenarios involving multiple objects (e.g., "a boy is throwing a ball in a hoop"). We propose a contrastive language event graph representation learning method called CLanG to address this limitation. Aiming to capture event representations associated with multiple objects, our method employs a multi-layer GNN-cluster module for adversarial graph representation learning, enabling contrastive learning between the question text and its relevant multi-object event graph. Our method outperforms a strong baseline, achieving up to 2.2% higher accuracy on two challenging VideoQA datasets, NExT-QA and TGIF-QA-R. In particular, it is 2.8% better than baselines in handling causal and temporal questions, highlighting its strength in reasoning multiple object-based events.