Unlocking Exocentric Video-Language Data for Egocentric Video Representation Learning
作者: Zi-Yi Dou, Xitong Yang, Tushar Nagarajan, Huiyu Wang, Jing Huang, Nanyun Peng, Kris Kitani, Fu-Jen Chu
分类: cs.CV, cs.CL
发布日期: 2024-08-07
💡 一句话要点
EMBED：利用外视视频-语言数据提升第一人称视频表征学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 第一人称视频理解 外视数据 数据转换 风格迁移 视频表征学习
📋 核心要点
- 现有方法难以直接利用大规模外视视频数据进行第一人称视频表征学习，因为视角和叙事风格存在显著差异。
- EMBED通过视觉和语言风格迁移，将外视视频数据转换为更适合第一人称视频学习的数据形式，弥合了数据差异。
- 实验表明，EMBED在多个第一人称视频理解任务上取得了显著的性能提升，并在外视任务上表现出竞争力。
📝 摘要（中文）
本文提出EMBED方法（利用外视数据构建第一人称模型），旨在转换外视视频-语言数据，用于第一人称视频表征学习。大规模外视数据涵盖了多样化的活动，具有第一人称学习的巨大潜力，但第一人称和外视数据之间的固有差异给无缝利用带来了挑战。第一人称视频主要以近距离的手-物交互为特征，而外视视频则提供了更广阔的人类活动视角。此外，第一人称数据集中的叙述通常更以动作为中心，并且与视觉内容紧密相关，这与外视数据集中的叙述风格形成对比。为了应对这些挑战，我们采用数据转换框架来调整外视数据以进行第一人称训练，重点是识别强调手-物交互的特定视频片段，并将叙述风格转换为与第一人称视角对齐。通过应用视觉和语言风格迁移，我们的框架创建了一个新的第一人称数据集，该数据集源自外视视频-语言数据。通过广泛的评估，我们证明了EMBED的有效性，在各种第一人称下游任务中取得了最先进的结果，包括在Epic-Kitchens-100多实例检索上绝对提高了4.7%，在EGTEA分类基准测试中零样本设置下提高了6.2%。此外，EMBED使第一人称视频-语言模型能够在外部任务中具有竞争力。最后，我们展示了EMBED在各种外视数据集中的应用，在应用于不同的外视数据集时表现出强大的泛化能力。
🔬 方法详解
问题定义：现有第一人称视频理解模型受限于第一人称视频数据的规模。外视视频数据量大，但视角和叙事方式与第一人称视频差异显著，直接使用效果不佳。现有方法缺乏有效的数据转换机制，无法充分利用外视数据提升第一人称视频表征学习。
核心思路：EMBED的核心思路是通过数据转换，将外视视频数据调整为更接近第一人称视频的视角和叙事风格。具体来说，EMBED关注外视视频中手-物交互的片段，并采用风格迁移技术，使外视视频的叙事更贴近第一人称视角，从而使模型能够更好地学习第一人称视频的表征。这样设计的目的是为了弥合第一人称和外视数据之间的差距，从而利用大规模外视数据提升第一人称视频理解能力。
技术框架：EMBED框架主要包含以下几个阶段：1) 视频片段选择：从外视视频中选择包含手-物交互的片段，这些片段更符合第一人称视频的特点。2) 视觉风格迁移：对选定的视频片段进行视觉风格迁移，例如调整视角或裁剪画面，使其更接近第一人称视角。3) 语言风格迁移：对外视视频的描述进行语言风格迁移，使其更贴近第一人称视频的叙事风格，例如将第三人称描述转换为第一人称描述。4) 模型训练：使用转换后的数据训练第一人称视频理解模型。
关键创新：EMBED的关键创新在于提出了一个完整的数据转换框架，能够同时进行视觉和语言风格的迁移，从而有效地将外视视频数据转换为适合第一人称视频学习的数据形式。与现有方法相比，EMBED不仅关注视觉层面的差异，还考虑了语言层面的差异，从而更全面地解决了第一人称和外视数据之间的差距。
关键设计：在视频片段选择方面，可以使用目标检测或动作识别模型来自动识别包含手-物交互的片段。在视觉风格迁移方面，可以使用图像变换或视频编辑技术来调整视角或裁剪画面。在语言风格迁移方面，可以使用自然语言生成模型来将第三人称描述转换为第一人称描述。损失函数的设计需要考虑视觉和语言风格迁移的质量，例如可以使用对抗损失来保证生成的第一人称描述与真实的第一人称描述相似。
🖼️ 关键图片
📊 实验亮点
EMBED在Epic-Kitchens-100多实例检索任务上取得了4.7%的绝对提升，在EGTEA分类任务上零样本设置下取得了6.2%的绝对提升。这些结果表明，EMBED能够有效地利用外视视频数据提升第一人称视频理解模型的性能。此外，EMBED还展示了在不同外视数据集上的泛化能力，证明了该方法的鲁棒性和通用性。
🎯 应用场景
EMBED具有广泛的应用前景，可用于提升各种第一人称视频理解任务的性能，例如手势识别、活动识别、物体交互识别等。该方法还可以应用于机器人领域，帮助机器人更好地理解人类的活动意图。此外，EMBED还可以用于创建更大规模的第一人称视频数据集，从而推动第一人称视频理解领域的发展。
📄 摘要（原文）
We present EMBED (Egocentric Models Built with Exocentric Data), a method designed to transform exocentric video-language data for egocentric video representation learning. Large-scale exocentric data covers diverse activities with significant potential for egocentric learning, but inherent disparities between egocentric and exocentric data pose challenges in utilizing one view for the other seamlessly. Egocentric videos predominantly feature close-up hand-object interactions, whereas exocentric videos offer a broader perspective on human activities. Additionally, narratives in egocentric datasets are typically more action-centric and closely linked with the visual content, in contrast to the narrative styles found in exocentric datasets. To address these challenges, we employ a data transformation framework to adapt exocentric data for egocentric training, focusing on identifying specific video clips that emphasize hand-object interactions and transforming narration styles to align with egocentric perspectives. By applying both vision and language style transfer, our framework creates a new egocentric dataset derived from exocentric video-language data. Through extensive evaluations, we demonstrate the effectiveness of EMBED, achieving state-of-the-art results across various egocentric downstream tasks, including an absolute improvement of 4.7% on the Epic-Kitchens-100 multi-instance retrieval and 6.2% on the EGTEA classification benchmarks in zero-shot settings. Furthermore, EMBED enables egocentric video-language models to perform competitively in exocentric tasks. Finally, we showcase EMBED's application across various exocentric datasets, exhibiting strong generalization capabilities when applied to different exocentric datasets.