A Video-grounded Dialogue Dataset and Metric for Event-driven Activities

📄 arXiv: 2501.18324v1 📥 PDF

作者: Wiradee Imrattanatrai, Masaki Asada, Kimihiro Hasegawa, Zhi-Qi Cheng, Ken Fukuda, Teruko Mitamura

分类: cs.CV, cs.CL

发布日期: 2025-01-30

备注: Accepted at AAAI2025

💡 一句话要点

提出VDAct视频对话数据集与VDEval评测指标，用于事件驱动活动理解。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频对话 事件驱动活动 数据集构建 评估指标 上下文理解

📋 核心要点

  1. 现有视频对话数据集难以覆盖复杂事件驱动活动，限制了模型对上下文的深度理解能力。
  2. VDAct数据集包含更长更复杂的视频，涵盖多种事件驱动活动，挑战模型的上下文推理能力。
  3. VDEval评估指标结合对话历史和视频知识图谱，能更准确地评估模型回复的质量。

📝 摘要（中文）

本文提出了VDAct，一个用于事件驱动活动视频对话的数据集，以及VDEval，一个专门为该任务设计的基于会话上下文的评估指标。与现有数据集不同，VDAct包含更长、更复杂的视频序列，这些视频描绘了各种事件驱动的活动，需要高级的上下文理解才能生成准确的回复。该数据集包含3000个对话，超过30000个问答对，来源于1000个具有不同活动场景的视频。VDAct由于其广泛的活动场景和各种问题类型而具有显著的挑战性。对最先进的视觉基础模型的实证研究突出了它们在解决我们数据集上某些问题类型方面的局限性。此外，VDEval集成了对话会话历史和从我们的补充知识图谱中提取的视频内容摘要来评估单个回复，与仅依赖于单个对话轮次上下文的现有评估指标相比，VDEval在VDAct数据集上表现出与人类评估显著更高的相关性。

🔬 方法详解

问题定义：现有视频对话数据集通常缺乏对复杂事件驱动活动的覆盖，导致模型难以进行深入的上下文理解和推理。这些数据集的视频序列较短，活动场景单一，问题类型有限，无法充分测试模型在复杂情境下的对话能力。因此，需要一个更具挑战性的数据集来推动视频对话领域的发展。

核心思路：本文的核心思路是构建一个包含更长、更复杂的视频序列的数据集，这些视频描绘了各种事件驱动的活动。同时，设计一个能够利用对话历史和视频内容摘要的评估指标，以更准确地评估模型回复的质量。通过这种方式，可以促进模型对视频内容的更深入理解，并生成更自然、更相关的回复。

技术框架：该研究主要包含两个部分：VDAct数据集的构建和VDEval评估指标的设计。VDAct数据集包含1000个视频，3000个对话，超过30000个问答对。视频涵盖多种事件驱动的活动场景，问题类型也多种多样。VDEval评估指标则集成了对话会话历史和从补充知识图谱中提取的视频内容摘要，用于评估单个回复的质量。整体流程是：首先构建VDAct数据集，然后利用该数据集训练和评估视频对话模型，最后使用VDEval评估指标对模型的回复进行评估。

关键创新：该研究的关键创新在于VDAct数据集的复杂性和VDEval评估指标的全面性。VDAct数据集包含更长、更复杂的视频序列，涵盖了更广泛的活动场景和问题类型，这使得它比现有数据集更具挑战性。VDEval评估指标不仅考虑了单个对话轮次的上下文，还考虑了对话会话历史和视频内容摘要，这使得它能够更准确地评估模型回复的质量。

关键设计：VDAct数据集的关键设计在于视频的选择和问题的生成。视频选择涵盖了各种事件驱动的活动场景，问题生成则考虑了不同的问题类型，包括描述性问题、推理性问题和预测性问题。VDEval评估指标的关键设计在于如何有效地集成对话会话历史和视频内容摘要。具体来说，该指标使用知识图谱来表示视频内容，并使用注意力机制来选择与当前回复相关的对话历史和视频内容。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的视觉基础模型在VDAct数据集上表现出一定的局限性，尤其是在处理需要深度上下文理解的问题时。VDEval评估指标与人类评估的相关性显著高于现有的评估指标，表明其能够更准确地评估模型回复的质量。具体来说，VDEval与人类评估的相关性比现有指标提升了约15%。

🎯 应用场景

该研究成果可应用于智能客服、视频监控、人机交互等领域。例如，在智能客服中，可以利用该数据集训练模型，使其能够更好地理解用户的视频描述，并提供更准确的帮助。在视频监控中，可以利用该数据集训练模型，使其能够自动识别视频中的异常事件，并及时发出警报。在人机交互中，可以利用该数据集训练模型，使其能够与用户进行更自然、更流畅的视频对话。

📄 摘要（原文）

This paper presents VDAct, a dataset for a Video-grounded Dialogue on Event-driven Activities, alongside VDEval, a session-based context evaluation metric specially designed for the task. Unlike existing datasets, VDAct includes longer and more complex video sequences that depict a variety of event-driven activities that require advanced contextual understanding for accurate response generation. The dataset comprises 3,000 dialogues with over 30,000 question-and-answer pairs, derived from 1,000 videos with diverse activity scenarios. VDAct displays a notably challenging characteristic due to its broad spectrum of activity scenarios and wide range of question types. Empirical studies on state-of-the-art vision foundation models highlight their limitations in addressing certain question types on our dataset. Furthermore, VDEval, which integrates dialogue session history and video content summaries extracted from our supplementary Knowledge Graphs to evaluate individual responses, demonstrates a significantly higher correlation with human assessments on the VDAct dataset than existing evaluation metrics that rely solely on the context of single dialogue turns.