InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video

📄 arXiv: 2609.35743v1 📥 PDF

作者: Kerui Ren, Kaiwen Song, Weiguang Zhao, Yuxi Wang, Yufei Liu, Bo Dai, Haoyu Guo, Chunhua Shen, Mulin Yu, Tao Lu, Junting Dong

分类: cs.CV

发布日期: 2026-09-28

备注: Project page: https://infinihand.github.io/

💡 一句话要点

提出InfiniHand以解决世界空间手部运动估计问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 手部运动估计 自我中心视频 3D几何恢复 相机轨迹估计 深度学习 虚拟现实 增强现实

📋 核心要点

  1. 现有方法依赖于独立的手势估计器和SLAM系统，导致误差累积和计算开销大。
  2. InfiniHand通过端到端流式框架，联合估计手部参数和相机轨迹，简化了估计过程。
  3. 实验结果显示，InfiniHand在ARCTIC PA-p上减少21.4%的误差，并且在野外视频中表现出良好的泛化能力。

📝 摘要（中文）

世界空间手部运动估计需要从自我中心视频中恢复3D关节手部几何形状，同时跟踪相机的自运动。现有方法依赖于独立的手势估计器和SLAM系统，导致误差累积、复杂的管道和严重的计算开销。为了解决这些问题，本文提出了InfiniHand，一个端到端的流式前馈框架，能够直接从未校准的自我中心视频中联合估计MANO参数、相机轨迹和手部位置。InfiniHand将持久的时空记忆与以手为中心的视觉特征相结合，在统一架构中明确耦合相机运动与局部手部几何。通过在两个渐进阶段进行训练，InfiniHand首先学习稳健的相机空间手部先验，然后扩展到流式世界空间重建。大量评估表明，InfiniHand在领域内基准测试中优于现有最先进的基线，与ViDiHand相比，ARCTIC PA-p减少了21.4%，同时显著减轻了世界空间漂移。此外，InfiniHand在野外视频中表现出良好的泛化能力，运行速度为11.19 FPS，吞吐量超过HaWoR的两倍。

🔬 方法详解

问题定义：本文旨在解决从自我中心视频中进行世界空间手部运动估计的问题。现有方法依赖于多个独立模块，导致误差累积和复杂的计算流程。

核心思路：InfiniHand的核心思想是通过一个统一的框架，直接从未校准的视频中同时估计手部参数和相机轨迹，减少误差传播。

技术框架：InfiniHand的整体架构包括持久的时空记忆模块和手部中心的视觉特征提取模块，分为两个训练阶段：首先学习相机空间的手部先验，然后进行流式的世界空间重建。

关键创新：InfiniHand的主要创新在于将相机运动与手部几何明确耦合在一个统一的架构中，避免了传统方法中的误差累积问题。

关键设计：在设计上，InfiniHand使用了特定的损失函数来优化手部参数和相机轨迹的联合估计，同时采用了大规模的预训练数据集（约5000小时的自我中心数据）来增强模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InfiniHand在ARCTIC PA-p上相较于ViDiHand实现了21.4%的误差减少，并显著减轻了世界空间漂移。此外，InfiniHand在野外视频中的泛化能力良好，运行速度达到11.19 FPS，吞吐量超过HaWoR的两倍，展示了其优越的性能。

🎯 应用场景

InfiniHand的研究成果在虚拟现实、增强现实和人机交互等领域具有广泛的应用潜力。通过精确的手部运动估计，用户可以在虚拟环境中实现更自然的交互体验，推动相关技术的发展和应用。未来，该技术还可能在医疗、教育等领域发挥重要作用。

📄 摘要（原文）

World-space hand motion estimation from egocentric video requires recovering 3D articulated hand geometry while tracking camera egomotion. Existing approaches heavily rely on cascading independent hand pose estimators and SLAM systems, resulting in error accumulation, complex pipelines, and severe computational overhead. To address these limitations, we present InfiniHand, an end-to-end streaming feed-forward framework that jointly estimates MANO parameters, camera trajectories, and hand locations directly from uncalibrated egocentric video. InfiniHand integrates persistent spatiotemporal memory with hand-centered visual features, explicitly coupling camera motion with local hand geometry within a unified architecture. We train InfiniHand in two progressive stages by first learning robust camera-space hand priors and then extending to streaming world-space reconstruction. To support this process, we aggregate a pretraining corpus of approximately 5,000 hours of egocentric data across multiple public datasets. Extensive evaluations demonstrate that InfiniHand outperforms state-of-the-art baselines on in-domain benchmarks, achieving a 21.4% reduction in ARCTIC PA-p compared to ViDiHand while substantially mitigating world-space drift. Furthermore, InfiniHand generalizes robustly to in-the-wild videos and operates at 11.19 FPS, delivering more than twice the throughput of HaWoR.