EMAG: Ego-motion Aware and Generalizable 2D Hand Forecasting from Egocentric Videos

📄 arXiv: 2405.20030v2 📥 PDF

作者: Masashi Hatano, Ryo Hachiuma, Hideo Saito

分类: cs.CV

发布日期: 2024-05-30 (更新: 2024-08-23)

备注: Accepted at HANDS Workshop@ECCV'24

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EMAG，解决以自我为中心的视频中手部动作预测的视角依赖和泛化性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 手部动作预测 自我运动估计 以自我为中心的视频 多模态融合 泛化能力 人机交互

📋 核心要点

  1. 现有2D手部位置预测方法依赖视觉表征，易受自我运动影响，泛化性差。
  2. EMAG方法利用光流、手部/物体轨迹和自我运动信息，提升预测精度和泛化能力。
  3. 在Ego4D和EPIC-Kitchens 55数据集上，EMAG在跨数据集评估中提升显著。

📝 摘要（中文）

本文研究了手部动作预测任务，旨在解决现有方法在以自我为中心的视频中存在的两个主要问题：一是未来帧中2D手部位置受到自我运动的严重影响；二是基于视觉信息的预测容易过拟合背景或场景纹理，导致在新场景或人类行为上的泛化能力不足。为此，我们提出了一种自我运动感知且具有良好泛化性的2D手部预测方法EMAG。针对第一个问题，我们提出了一种考虑自我运动的方法，该方法使用连续两帧的单应性矩阵序列来表示自我运动。此外，我们还利用光流、手部和交互物体的轨迹以及自我运动等模态，从而缓解第二个问题。在Ego4D和EPIC-Kitchens 55这两个大规模以自我为中心的视频数据集上的大量实验验证了该方法的有效性。我们的模型在内部数据集和跨数据集评估中分别优于现有方法1.7%和7.0%。

🔬 方法详解

问题定义：现有方法在以自我为中心的视频中预测手部动作时，主要面临两个挑战。首先，由于视角是第一人称视角，相机的自我运动（ego-motion）会对预测的2D手部位置产生显著影响，导致预测不准确。其次，现有方法过度依赖视觉信息，容易过拟合到特定场景的背景或纹理，从而在新的场景或行为中泛化能力较差。

核心思路：EMAG的核心思路是显式地建模和利用自我运动信息，并结合多种模态的数据来提高预测的准确性和泛化性。通过引入自我运动的估计，模型可以更好地理解相机运动对图像中手部位置的影响，从而做出更准确的预测。同时，结合光流、手部和交互物体的轨迹等信息，可以减少对视觉信息的过度依赖，提高模型的泛化能力。

技术框架：EMAG方法的整体框架包含以下几个主要模块：1) 自我运动估计模块：使用连续两帧的图像来估计单应性矩阵，从而表示相机的自我运动。2) 多模态特征提取模块：提取光流、手部和交互物体的轨迹等特征，并将其与视觉特征相结合。3) 手部位置预测模块：使用一个预测网络，将提取的特征作为输入，预测未来帧中手部的位置。

关键创新：EMAG的关键创新在于显式地建模和利用自我运动信息。与现有方法相比，EMAG能够更好地处理由于相机运动引起的手部位置变化，从而提高预测的准确性。此外，EMAG通过结合多种模态的数据，减少了对视觉信息的过度依赖，提高了模型的泛化能力。

关键设计：自我运动估计模块使用了一种基于光流的单应性矩阵估计方法。多模态特征提取模块使用了卷积神经网络（CNN）来提取视觉特征，并使用循环神经网络（RNN）来建模手部和交互物体的轨迹。手部位置预测模块使用了一个多层感知机（MLP）来预测未来帧中手部的位置。损失函数使用了L2损失来衡量预测的手部位置与真实手部位置之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EMAG在Ego4D和EPIC-Kitchens 55数据集上进行了广泛的实验验证。在内部数据集评估中，EMAG优于现有方法1.7%。更重要的是，在跨数据集评估中，EMAG的性能提升高达7.0%，这表明EMAG具有更好的泛化能力。这些结果表明，EMAG在手部动作预测任务中具有显著的优势。

🎯 应用场景

该研究成果可应用于人机交互、机器人辅助、虚拟现实等领域。例如，机器人可以根据预测的人类手部动作来更好地理解人类意图，从而做出更合理的响应。在虚拟现实中，可以根据预测的手部动作来生成更逼真的手部动画，提高用户的沉浸感。该研究还有助于开发更智能的辅助设备，例如帮助残疾人完成日常任务。

📄 摘要（原文）

Predicting future human behavior from egocentric videos is a challenging but critical task for human intention understanding. Existing methods for forecasting 2D hand positions rely on visual representations and mainly focus on hand-object interactions. In this paper, we investigate the hand forecasting task and tackle two significant issues that persist in the existing methods: (1) 2D hand positions in future frames are severely affected by ego-motions in egocentric videos; (2) prediction based on visual information tends to overfit to background or scene textures, posing a challenge for generalization on novel scenes or human behaviors. To solve the aforementioned problems, we propose EMAG, an ego-motion-aware and generalizable 2D hand forecasting method. In response to the first problem, we propose a method that considers ego-motion, represented by a sequence of homography matrices of two consecutive frames. We further leverage modalities such as optical flow, trajectories of hands and interacting objects, and ego-motions, thereby alleviating the second issue. Extensive experiments on two large-scale egocentric video datasets, Ego4D and EPIC-Kitchens 55, verify the effectiveness of the proposed method. In particular, our model outperforms prior methods by 1.7% and 7.0% on intra and cross-dataset evaluations, respectively. Project page: https://masashi-hatano.github.io/EMAG/