1st Place Solution of Multiview Egocentric Hand Tracking Challenge ECCV2024

📄 arXiv: 2409.19362v2 📥 PDF

作者: Minqiang Zou, Zhi Lv, Riqiang Jin, Tian Zhan, Mochen Yu, Yao Tang, Jiajun Liang

分类: cs.CV, cs.AI

发布日期: 2024-09-28 (更新: 2024-10-08)

备注: Accepted in ECCV2024 workshop

💡 一句话要点

提出多视角手部跟踪方法，结合数据增强与后处理，显著提升VR交互精度。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 多视角手部跟踪 自中心视觉 数据增强 神经平滑 VR交互

📋 核心要点

  1. 多视角自中心手部跟踪是VR交互的关键，但现有方法易受相机布局影响，泛化性不足。
  2. 本文提出结合数据增强（裁剪抖动、外参噪声）和神经平滑后处理，提升模型鲁棒性和精度。
  3. 实验表明，该方法在Umetrack和HOT3D数据集上均取得优异成绩，MPJPE分别为13.92mm和21.66mm。

📝 摘要（中文）

本文提出了一种利用多视角输入图像和相机外参来估计手部形状和姿态的方法，旨在解决VR交互中具有挑战性的多视角自中心手部跟踪问题。为了减少模型对特定相机布局的过拟合，我们采用了裁剪抖动和外参噪声增强。此外，我们还提出了一种离线神经平滑后处理方法，以进一步提高手部位置和姿态的准确性。实验结果表明，我们的方法在Umetrack数据集上实现了13.92mm的MPJPE，在HOT3D数据集上实现了21.66mm的MPJPE。

🔬 方法详解

问题定义：多视角自中心手部跟踪旨在利用多个以人为中心的摄像头捕捉的图像来准确估计手部的三维形状和姿态。现有方法的痛点在于容易过拟合特定的相机布局，导致在不同场景下的泛化能力较差，并且对噪声和遮挡较为敏感。

核心思路：本文的核心思路是通过数据增强来提高模型的鲁棒性，减少对特定相机配置的依赖。同时，利用神经平滑后处理来进一步优化手部位置和姿态的估计，从而提高整体的跟踪精度。

技术框架：该方法主要包含三个阶段：首先，利用多视角图像和相机外参作为输入，通过一个深度神经网络来估计手部的形状和姿态。其次，采用裁剪抖动和外参噪声增强来扩充训练数据，提高模型的泛化能力。最后，使用离线神经平滑后处理模块来优化手部位置和姿态的估计结果。

关键创新：该方法的关键创新在于结合了数据增强和神经平滑后处理。数据增强部分，裁剪抖动和外参噪声增强能够有效模拟真实场景中的各种干扰，提高模型的鲁棒性。神经平滑后处理则能够利用时序信息来进一步优化手部姿态，减少抖动和噪声的影响。

关键设计：在数据增强方面，裁剪抖动通过随机裁剪输入图像来模拟不同的视角和遮挡情况。外参噪声增强则通过在相机外参中添加随机噪声来模拟相机标定误差。在神经平滑后处理方面，采用了一个基于神经网络的滤波器，该滤波器能够学习到手部运动的平滑性约束，从而优化手部姿态的估计结果。损失函数方面，使用了MPJPE（Mean Per Joint Position Error）作为主要的评价指标，并结合其他正则化项来约束手部形状和姿态的合理性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该方法在Umetrack数据集上实现了13.92mm的MPJPE，在HOT3D数据集上实现了21.66mm的MPJPE，均取得了领先水平。相较于其他方法，该方法在精度和鲁棒性方面均有显著提升，尤其是在处理复杂场景和噪声干扰方面表现出色，证明了数据增强和神经平滑后处理的有效性。

🎯 应用场景

该研究成果可广泛应用于虚拟现实（VR）、增强现实（AR）等领域，实现更自然、更精确的手部交互。例如，在VR游戏中，用户可以通过手势进行更复杂的操作；在远程协作中，可以实现更逼真的手部动作同步。此外，该技术还可应用于机器人控制、医疗康复等领域，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

Multi-view egocentric hand tracking is a challenging task and plays a critical role in VR interaction. In this report, we present a method that uses multi-view input images and camera extrinsic parameters to estimate both hand shape and pose. To reduce overfitting to the camera layout, we apply crop jittering and extrinsic parameter noise augmentation. Additionally, we propose an offline neural smoothing post-processing method to further improve the accuracy of hand position and pose. Our method achieves 13.92mm MPJPE on the Umetrack dataset and 21.66mm MPJPE on the HOT3D dataset.