DewHand: Direct Metric World-Space Hand Motion Reconstruction from Egocentric Videos

📄 arXiv: 2610.29936v1 📥 PDF

作者: Naru Suzuki, Satoshi Ikehata, Takehiko Ohkawa, Yoichi Sato, Shuhei Kurita

分类: cs.CV

发布日期: 2026-10-21

备注: Project page: https://narusuzuki.github.io/projects/26-dewhand/

💡 一句话要点

提出DewHand以解决从自我中心视频重建手部运动的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 手部运动重建 自我中心视频 多阶段估计 条件运动生成 虚拟现实 增强现实 机器人技术

📋 核心要点

  1. 现有方法在从自我中心视频重建手部运动时面临多阶段误差传播、尺度模糊和遮挡等挑战。
  2. DewHand通过单阶段管道联合预测手部和相机运动，避免了误差累积，并结合几何特征解决尺度模糊问题。
  3. 实验结果显示，DewHand在HOT3D和ARCTIC数据集上相较于StableHand显著降低了世界空间误差，并在不同设备上实现了最佳性能。

📝 摘要（中文）

从自我中心视频中恢复度量世界空间的手部运动有助于理解人类交互并将其转移到具身代理上。然而，该任务面临多阶段管道误差传播、单目观察导致的物理尺度模糊，以及遮挡和视野外手部导致的多种可能运动轨迹等挑战。本文提出DewHand，一个统一模型，直接联合重建世界空间的手部和相机运动。DewHand在单阶段管道中共同预测手部和相机运动，避免了多阶段估计带来的误差累积。通过结合VGGT-$Ω$的场景级几何特征与度量空间监督，解决了尺度模糊问题，同时保留了手部特征的细粒度关节运动。实验结果表明，DewHand在HOT3D和ARCTIC数据集上相较于现有方法显著提高了世界空间的准确性和时间一致性。

🔬 方法详解

问题定义：本文旨在解决从自我中心视频中重建手部运动的度量世界空间问题。现有方法存在多阶段估计误差传播、单目观察导致的尺度模糊以及遮挡问题，限制了重建的准确性和一致性。

核心思路：DewHand提出了一种统一模型，通过单阶段管道共同预测手部和相机运动，避免了多阶段估计的误差累积。同时，结合场景级几何特征与度量空间监督，解决了尺度模糊的问题。

技术框架：DewHand的整体架构包括手部和相机运动的联合预测模块，利用共享的世界坐标系统进行运动重建。该模型通过条件运动生成与流匹配来处理遮挡和视野外的手部。

关键创新：DewHand的主要创新在于其生成式框架，相较于传统的直接回归方法，在准确性和时间平滑性上均有显著提升。

关键设计：模型设计中采用了VGGT-$Ω$的几何特征作为输入，并引入了特定于手部的特征以保持细粒度的关节运动。此外，模型的损失函数设计考虑了运动生成的条件性，确保了重建的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HOT3D数据集上，DewHand将相较于StableHand的刚性对齐世界空间误差从32.9毫米降低至28.4毫米，在ARCTIC数据集上则从76.2毫米降低至36.2毫米。此外，DewHand在不同设备的零-shot评估中，在每个数据集上均实现了最低的刚性对齐世界空间误差（WA-MPJPE）。

🎯 应用场景

DewHand的研究成果在多个领域具有广泛的应用潜力，包括人机交互、虚拟现实、增强现实以及机器人技术等。通过准确重建手部运动，该技术可以提升虚拟环境中的交互体验，并为具身代理提供更自然的运动表现，推动智能代理的实际应用。

📄 摘要（原文）

Recovering metric world-space hand motion from egocentric video supports understanding human interactions and transferring them to embodied agents. Three challenges complicate this task: multi-stage pipelines propagate errors from independently estimated hand and camera motion; monocular observations leave physical scale ambiguous; and occlusion and out-of-view hands admit multiple plausible motion trajectories. We present DewHand, a unified model for direct joint reconstruction of world-space hand and camera motion. To avoid compounding errors from multi-stage estimation, DewHand jointly predicts hand and camera motion in a shared world coordinate system within a single-stage pipeline. To resolve metric-scale ambiguity, it combines scene-level geometric features from VGGT-$Ω$ with metric-space supervision, while hand-specific features preserve fine-grained articulation. To handle occlusion and out-of-view hands, we formulate reconstruction as conditional motion generation with flow matching. Under the same architecture, this generative formulation outperforms direct regression in both accuracy and temporal smoothness with only two sampling steps. Experiments on HOT3D and ARCTIC demonstrate improved world-space accuracy and temporal consistency over state-of-the-art methods. DewHand reduces rigid-aligned world-space error relative to StableHand from 32.9 to 28.4 mm on HOT3D and from 76.2 to 36.2 mm on ARCTIC. It also recovers camera scale within 10% on two thirds of HOT3D clips, versus about a quarter for SLAM. Moreover, in zero-shot evaluations on HoloAssist, H2O, and TACO, captured with different devices, DewHand achieves the lowest rigid-aligned world-space error (WA-MPJPE) on each dataset.