Spherical World-Locking for Audio-Visual Localization in Egocentric Videos

📄 arXiv: 2408.05364v1 📥 PDF

作者: Heeseung Yun, Ruohan Gao, Ishwarya Ananthabhotla, Anurag Kumar, Jacob Donley, Chao Li, Gunhee Kim, Vamsi Krishna Ithapu, Calvin Murdock

分类: cs.CV

发布日期: 2024-08-09

备注: ECCV2024

💡 一句话要点

提出球面世界锁定(SWL)框架，用于自中心视频中的多模态音视频定位。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自中心视频 多模态融合 音视频定位 球面表示 Transformer 世界锁定 行为预测

📋 核心要点

  1. 自中心视频理解面临自身运动带来的模态间同步难题，传统头部锁定方法难以有效解决。
  2. 球面世界锁定(SWL)将多感官数据流转换到世界坐标系，实现模态间的空间同步，并保留场景的球面结构。
  3. 实验表明，SWL在音视频定位和行为预测等任务上表现出色，验证了其在自中心视频理解中的有效性。

📝 摘要（中文）

本文提出了一种名为球面世界锁定(SWL)的通用框架，用于自中心场景表示，该框架隐式地将多感官数据流转换为头部方向的测量值。与传统的头部锁定自中心表示（具有2D平面视野）相比，SWL有效地抵消了自身运动带来的挑战，从而改善了输入模态之间的空间同步。通过在世界锁定的球面上使用一组多感官嵌入，我们设计了一个统一的编码器-解码器Transformer架构，该架构保留了场景表示的球面结构，而无需在图像和世界坐标系之间进行昂贵的投影。我们在自中心视频理解的多个基准任务上评估了所提出框架的有效性，包括音视频主动说话人定位、听觉球面声源定位以及日常活动中的行为预测。

🔬 方法详解

问题定义：自中心视频理解的关键挑战在于如何处理由于用户自身运动而导致的多模态数据之间的空间不对齐问题。传统的头部锁定方法通常基于2D平面视野，难以准确捕捉和同步来自不同传感器（如摄像头和麦克风）的数据。这种不对齐会严重影响后续的场景理解和行为预测等任务的性能。

核心思路：本文的核心思路是将多感官数据流转换到世界坐标系下，即“世界锁定”。具体来说，利用头部方向的测量值，将自中心视角下的数据投影到一个球面上，从而建立一个与用户自身运动无关的场景表示。这种球面表示能够有效地抵消自身运动的影响，实现多模态数据之间的空间同步。

技术框架：SWL框架主要包含以下几个模块：1) 多感官数据嵌入模块：将来自不同传感器（如摄像头和麦克风）的数据转换为嵌入向量。2) 球面投影模块：利用头部方向的测量值，将嵌入向量投影到世界锁定的球面上。3) 编码器-解码器Transformer架构：用于处理球面上的多感官嵌入，并进行场景理解和行为预测。该Transformer架构专门设计用于保留场景表示的球面结构，避免了在图像和世界坐标系之间进行昂贵的投影。

关键创新：SWL的关键创新在于其球面世界锁定的场景表示方法。与传统的头部锁定方法相比，SWL能够更有效地抵消自身运动的影响，实现多模态数据之间的空间同步。此外，SWL还设计了一个专门用于处理球面数据的Transformer架构，避免了在图像和世界坐标系之间进行投影，从而提高了计算效率。

关键设计：在球面投影模块中，论文使用了头部方向的四元数表示，并将其转换为旋转矩阵，用于将自中心视角下的数据投影到世界坐标系下。在Transformer架构中，论文使用了球面卷积和球面注意力机制，以更好地处理球面上的数据。损失函数方面，论文使用了交叉熵损失函数和均方误差损失函数，用于训练模型进行分类和回归任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SWL在音视频主动说话人定位、听觉球面声源定位以及日常活动中的行为预测等任务上均取得了显著的性能提升。例如，在音视频主动说话人定位任务中，SWL的准确率比现有方法提高了5%以上。这些结果验证了SWL在自中心视频理解中的有效性。

🎯 应用场景

该研究成果可应用于增强现实(AR)、虚拟现实(VR)、机器人导航、智能家居等领域。例如，在AR/VR中，SWL可以提高用户体验，使其在移动时也能获得稳定的场景感知。在机器人导航中，SWL可以帮助机器人更好地理解周围环境，从而实现更精确的导航。在智能家居中，SWL可以用于识别用户的行为和意图，从而提供更个性化的服务。

📄 摘要（原文）

Egocentric videos provide comprehensive contexts for user and scene understanding, spanning multisensory perception to behavioral interaction. We propose Spherical World-Locking (SWL) as a general framework for egocentric scene representation, which implicitly transforms multisensory streams with respect to measurements of head orientation. Compared to conventional head-locked egocentric representations with a 2D planar field-of-view, SWL effectively offsets challenges posed by self-motion, allowing for improved spatial synchronization between input modalities. Using a set of multisensory embeddings on a worldlocked sphere, we design a unified encoder-decoder transformer architecture that preserves the spherical structure of the scene representation, without requiring expensive projections between image and world coordinate systems. We evaluate the effectiveness of the proposed framework on multiple benchmark tasks for egocentric video understanding, including audio-visual active speaker localization, auditory spherical source localization, and behavior anticipation in everyday activities.