EgoFound3R: End-to-End Egocentric Hand Reconstruction in World Space with Point-Wise Interaction Attributes

📄 arXiv: 2610.01210v1 📥 PDF

作者: Hongming Fu, Jingcheng Shi, Wenjia Wang, Binhua Zuo, Bo Zhao

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出EgoFound3R以解决手部重建与交互属性估计问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 手部重建 交互属性 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在手部重建中难以处理相机运动和手部遮挡，导致重建精度不足。
  2. EgoFound3R通过统一的端到端模型，结合手部几何和交互属性的预测，提升了重建效率。
  3. 在多个数据集上，EgoFound3R显著降低了每个关节位置误差，并提高了推理吞吐量，达到约6倍的提升。

📝 摘要（中文）

以自我中心视频为基础的手部重建在世界坐标系中面临着手部运动恢复的挑战，尤其是在相机运动和手部遮挡的情况下。现有的重建流程通常将手部和场景估计分开，且交互属性的估计依赖于特定任务的模型，导致在大规模标注时效率低下。为此，本文提出了EgoFound3R，一个统一的端到端模型，能够在与场景共享的度量尺度中估计世界空间的手部几何形状，并预测点对点的交互属性，包括可见性、接触和距离。该模型通过三种设计集成了手部重建的预训练几何先验，显式的手部表示，以及共享参数的多速率设计，从而在一次推理中同时预测手部几何和交互属性。

🔬 方法详解

问题定义：本文旨在解决自我中心视频中手部重建的困难，尤其是相机运动和手部遮挡对手部运动恢复的影响。现有方法通常将手部和场景估计分开，导致效率低下和重建精度不足。

核心思路：EgoFound3R提出了一种统一的端到端模型，能够在同一推理过程中同时估计手部几何形状和交互属性，减少了对多个模型的依赖。

技术框架：该模型包括三个主要模块：结构化手部提示用于传递预训练几何先验，显式手部表示用于解码手部几何和交互属性，以及共享参数的多速率设计以降低推理成本。

关键创新：EgoFound3R的创新在于其统一的模型设计，首次在同一框架内同时处理手部几何和交互属性的估计，显著提高了重建的效率和准确性。

关键设计：模型采用了结构化手部提示来引导几何重建，显式手部表示用于精确解码，并通过共享参数的多速率设计来优化推理过程，确保在保持高精度的同时提高吞吐量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OakInk-v2、TACO和HOI4D数据集上，EgoFound3R分别将每个关节位置误差（MPJPE）降低了43.2%、22.4%和11.6%。此外，该模型在同一推理过程中预测点对点的接触和距离，同时实现了约6倍的推理吞吐量提升。

🎯 应用场景

EgoFound3R的研究成果在虚拟现实、增强现实和人机交互等领域具有广泛的应用潜力。通过精确的手部重建和交互属性估计，该模型能够提升用户体验，促进更自然的交互方式，进而推动相关技术的发展。

📄 摘要（原文）

Egocentric video has become a primary source of supervision for embodied models, and its value rests on recovering hand motion in world coordinates, which camera motion and hand occlusion make difficult. Existing reconstruction pipelines typically separate hand and scene estimation, leave interaction attributes to separate task-specific models, and invoke several models per video, so no prior reconstruction model estimates these attributes and throughput becomes a practical constraint on large-scale annotation. We therefore introduce EgoFound3R, a unified end-to-end model that estimates world-space hand geometry in a metric scale shared with the scene, and predicts point-wise interaction attributes, including visibility, contact, and distance. The model integrates three designs: (i) structured hand prompts that transfer pretrained geometric priors to world-space hand reconstruction; (ii) an explicit hand representation that decodes hand geometry and interaction attributes; and (iii) a shared-parameter multi-rate design that lowers inference cost. Together, these designs predict hand geometry and point-wise attributes in one pass. On OakInk-v2, TACO, and HOI4D, EgoFound3R reduces the mean per-joint position error (MPJPE) by 43.2%, 22.4%, and 11.6% over previous methods and predicts point-wise contact and distance alongside the geometry in the same pass, while attaining approximately 6x higher throughput.