V-JEPA Hand: Simple, Accurate and Fast 3D Hand and Camera Trajectory Recovery from Egocentric Videos

📄 arXiv: 2610.26780v1 📥 PDF

作者: Ruicheng Li, Qixiu Li, Yu Deng, Sicheng Xu, Jiaolong Yang, Baining Guo

分类: cs.CV

发布日期: 2026-10-19

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出V-JEPA Hand以解决从自我中心视频中恢复3D手和相机轨迹的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 3D手部重建 相机运动估计 联合学习 时空特征提取 增强现实 机器人学习

📋 核心要点

  1. 现有方法通常分阶段处理手部和相机运动，导致效率低下和精度不足。
  2. V-JEPA Hand通过一个简单的前馈模型联合重建手部和相机运动，简化了处理流程。
  3. 该模型在ARCTIC、HOT3D和EgoStandard数据集上实现了最低的MPJPE，且在世界框架轨迹误差上优于SLAM基线。

📝 摘要（中文）

自我中心视频支持多种应用，包括机器人学习、增强现实和人类活动理解。从此类视频中恢复度量3D手轨迹需要同时估计手部运动和相机自运动，以在一致的参考框架中表达手部。现有方法通常分阶段恢复手和相机运动，涉及手部检测、重建、相机跟踪和轨迹优化。本文提出V-JEPA Hand，一个简单的前馈视频模型，能够从自我中心视频中联合重建双侧手部运动和相机运动。该模型使用自监督的V-JEPA 2.1编码器提取时空特征，并通过基于查询的预测器将这些特征解码为每帧的手部姿态、手部存在性和相机运动。模型在单次前向传递中重建每个视频片段，并在多个数据集上实现了最低的每关节位置误差（MPJPE），显示出优于现有SLAM基线的性能。

🔬 方法详解

问题定义：本文旨在解决从自我中心视频中恢复3D手部轨迹和相机运动的问题。现有方法通常将手部检测、重建和相机跟踪分开处理，导致效率低下和精度不足。

核心思路：V-JEPA Hand通过一个前馈模型，联合重建手部和相机运动，利用自监督学习提取时空特征，从而简化了整个过程。该设计使得模型能够在单次前向传递中完成重建，提高了处理速度和准确性。

技术框架：模型主要包括两个模块：自监督的V-JEPA 2.1编码器用于提取视频的时空特征，基于查询的预测器用于解码这些特征，输出每帧的手部姿态、手部存在性和相机运动。模型接受已知的焦距，或在缺失时进行预测。

关键创新：V-JEPA Hand的主要创新在于其联合重建手部和相机运动的能力，显著提高了处理效率和准确性，与传统分阶段方法相比，减少了信息丢失和处理时间。

关键设计：模型在训练时采用混合监督策略，结合多种伪标签视频和高精度3D注释，损失函数设计考虑了手部和相机运动的联合优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

V-JEPA Hand在ARCTIC、HOT3D和EgoStandard数据集上实现了最低的覆盖感知每关节位置误差（MPJPE），并且在世界框架轨迹误差上优于现有的SLAM基线。此外，该模型在单个RTX A6000上实现了93.4 FPS的前向传递吞吐量，显示出其高效性。

🎯 应用场景

该研究的潜在应用领域包括机器人学习、增强现实和人类活动理解等。通过高效准确地恢复手部和相机轨迹，V-JEPA Hand能够为各种交互式应用提供支持，提升用户体验和系统性能。未来，该技术可能在虚拟现实和人机交互等领域产生深远影响。

📄 摘要（原文）

Egocentric video supports diverse applications, including robot learning, augmented reality, and human activity understanding. Recovering metric 3D hand trajectories from such video requires estimating both hand motion and camera egomotion to express the hands in a consistent reference frame. Many existing pipelines recover hand and camera motion in separate stages, combining hand detection, hand reconstruction, camera tracking, and trajectory refinement. We present V-JEPA Hand, a simple feed-forward video model that jointly reconstructs bilateral hand motion and camera motion from egocentric clips. It uses a self-supervised V-JEPA 2.1 encoder to extract spatio-temporal features from full-frame video and a query-based predictor to decode these features into per-frame hand poses, hand presence, and camera motion. We use the predicted camera motion to express the hand trajectories in a common world frame. The model accepts known focal lengths or predicts them when unavailable. It reconstructs each clip in a single forward pass. We train both components end to end in a single stage on a mixture of diverse pseudo-labelled videos and high-precision 3D annotations. A single model achieves the lowest coverage-aware mean per-joint position error (MPJPE) among comparable baselines on ARCTIC, HOT3D, and EgoStandard. It also yields lower world-frame trajectory errors than the compared SLAM-based pipelines. Ablations support the benefits of video pretraining, temporal context, and mixed supervision. V-JEPA Hand achieves a forward-pass throughput of 93.4 FPS on a single RTX A6000. Project page: https://qft-333.github.io/V-JEPA-Hand-Page/.