Top-down Activity Representation Learning for Video Question Answering

📄 arXiv: 2409.07748v1 📥 PDF

作者: Yanan Wang, Shuichiro Haruta, Donghuo Zeng, Julio Vizcarra, Mori Kurokawa

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-09-12

备注: presented at MIRU2024

💡 一句话要点

提出基于自顶向下活动表示学习的视频问答方法，提升长时序上下文事件理解能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频问答 长时序视频 上下文事件 多模态学习 CLIP LLaVA 空间表示

📋 核心要点

  1. 现有VideoQA模型难以捕捉长时序视频中非连续分布的上下文事件，限制了性能。
  2. 将长时序视频转换为空间图像，利用CLIP的空间视觉上下文表示能力，提取非连续视觉信息。
  3. 在NExTQA任务上，该方法超越现有最佳水平2.8个百分点，验证了其有效性。

📝 摘要（中文）

本文针对视频问答（VideoQA）任务，旨在捕捉复杂的分层人类活动，从原子动作到上下文事件。现有方法扩展多模态模型（如CLIP、LLaVA）处理连续视频序列，增强了时间推理能力，但难以捕捉分解为多个非连续原子动作的上下文事件，尤其是在长时序视频中。为了利用CLIP模型的空间视觉上下文表示能力，获取视频中上下文事件的非连续视觉表示，本文将长时序视频序列转换为空间图像域，并对多模态模型LLaVA进行微调，用于VideoQA任务。实验结果表明，该方法在STAR任务上取得了有竞争力的性能，尤其是在NExTQA任务上，准确率达到78.4%，超过当前最佳水平2.8个百分点。

🔬 方法详解

问题定义：现有VideoQA方法，特别是基于多模态大模型的方法，在处理长时序视频时，难以有效地捕捉那些由多个非连续的原子动作组成的上下文事件。这些方法通常侧重于连续的时间推理，而忽略了视频中可能跨越较长时间间隔的事件关联。因此，如何有效地表示和利用这些非连续的上下文信息是当前方法的痛点。

核心思路：本文的核心思路是将长时序视频序列转换到空间图像域，从而利用CLIP模型强大的空间视觉上下文表示能力。通过这种转换，原本在时间上非连续的事件可以在空间上相邻或相关联，使得模型更容易捕捉到这些事件之间的联系。

技术框架：该方法主要包含以下几个阶段：1) 将长时序视频序列转换为空间图像表示。具体的转换方式未知，但目的是将时间信息编码到空间结构中。2) 使用CLIP模型提取空间图像的视觉特征，从而获得上下文事件的视觉表示。3) 使用LLaVA模型，结合视觉特征和问题，进行VideoQA任务的预测。LLaVA模型在转换后的数据上进行微调。

关键创新：该方法最重要的创新点在于将长时序视频的上下文事件表示问题，转化为了空间图像的上下文表示问题。这种转化使得可以利用预训练的CLIP模型强大的空间视觉表示能力，从而有效地捕捉非连续的上下文信息。与现有方法直接在时间域上进行推理不同，该方法通过空间转换，改变了问题的表示形式。

关键设计：论文中没有详细说明视频到空间图像转换的具体方法，以及LLaVA模型的微调细节，例如损失函数、学习率等。这些细节对最终性能可能至关重要，但目前未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在NExTQA任务上取得了显著的性能提升，准确率达到78.4%，超过当前最佳水平2.8个百分点。这一结果表明，将长时序视频转换为空间图像表示，并利用CLIP模型提取视觉特征，能够有效地捕捉非连续的上下文信息，从而提升VideoQA任务的性能。

🎯 应用场景

该研究成果可应用于智能监控、视频内容理解、人机交互等领域。例如，在智能监控中，可以帮助系统理解复杂的事件，如盗窃、事故等。在视频内容理解中，可以提升视频摘要、视频搜索等任务的性能。在人机交互中，可以使机器人更好地理解人类的意图，从而提供更智能的服务。

📄 摘要（原文）

Capturing complex hierarchical human activities, from atomic actions (e.g., picking up one present, moving to the sofa, unwrapping the present) to contextual events (e.g., celebrating Christmas) is crucial for achieving high-performance video question answering (VideoQA). Recent works have expanded multimodal models (e.g., CLIP, LLaVA) to process continuous video sequences, enhancing the model's temporal reasoning capabilities. However, these approaches often fail to capture contextual events that can be decomposed into multiple atomic actions non-continuously distributed over relatively long-term sequences. In this paper, to leverage the spatial visual context representation capability of the CLIP model for obtaining non-continuous visual representations in terms of contextual events in videos, we convert long-term video sequences into a spatial image domain and finetune the multimodal model LLaVA for the VideoQA task. Our approach achieves competitive performance on the STAR task, in particular, with a 78.4% accuracy score, exceeding the current state-of-the-art score by 2.8 points on the NExTQA task.