Exo2EgoPose: Leveraging Exocentric Demonstrations for Vision-Language guided Egocentric 3D Hand Pose Forecasting

📄 arXiv: 2607.15890 📥 PDF

作者: Zhaofeng Shi, Heqian Qiu, Lanxiao Wang, Xiang Li, Hongliang Li

分类: cs.CV

发布日期: 2026-07-20

💡 一句话要点

提出Exo2EgoPose以解决动态视角下的3D手势预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D手势预测 多模态融合 视觉-语言引导 动态场景理解 人机交互

📋 核心要点

  1. 现有方法在第一人称视角下预测人类动作时，往往依赖不足的视觉信息，导致预测精度低。
  2. 本文提出Exo2EgoPose框架，利用外部视角演示作为指导，克服第一人称视角的局限性。
  3. 在多个基准数据集上，本文方法显著优于现有最先进技术，展示了良好的转移能力和性能提升。

📝 摘要（中文）

在机器人操作等应用中，从第一人称视角感知多模态线索并预测细粒度动作至关重要。然而，现有研究主要依赖不足的视觉输入来预测粗略的人类动作，或遵循VRM/VLA范式，面临机器人数据不足和人机体现之间的差距。为此，本文提出了一种新的视觉-语言引导的第一人称3D手势预测任务（VL-EHPF），旨在通过视觉观察、语言指令和姿态状态预测未来的第一人称3D手势。我们提出的Exo2EgoPose框架创新性地利用稳定的外部演示作为指导，以补偿第一人称视角下的部分和动态线索。通过在多个基准数据集上的广泛实验，验证了该方法的优越性，并展示了有效的人机转移能力。

🔬 方法详解

问题定义：本文旨在解决从第一人称视角预测3D手势的挑战，现有方法在动态场景和有限视野下表现不佳，导致预测精度不足。

核心思路：提出Exo2EgoPose框架，通过利用外部视角的稳定演示，补偿第一人称视角下的动态和部分信息，从而提高预测的准确性。

技术框架：该框架包括两个主要模块：双层外部重建模块（DERM）和全局到局部调制模块（GLMM）。DERM通过配对的外部视频重建视频级和帧级表示，GLMM则利用重建的层次化外部表示进行特征细化。

关键创新：最重要的创新在于引入了双层外部重建模块，利用外部视角信息进行有效的上下文建模和动态捕捉，显著提升了预测精度。

关键设计：在DERM中，采用了视频级和帧级的重建策略，结合注意力机制和自适应调制，确保了特征的有效提取和利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AssemblyHands、Ego-Exo4D和新构建的EgoMe-pose基准上，Exo2EgoPose方法显著优于现有最先进技术，提升幅度达到XX%，并在CALVIN数据集上展示了有效的人机转移能力。

🎯 应用场景

该研究在机器人操作、虚拟现实和人机交互等领域具有广泛的应用潜力。通过提高机器人对人类动作的理解能力，可以实现更自然的交互和协作，推动智能机器人技术的发展。

📄 摘要（原文）

Perceiving multimodal cues and forecasting fine-grained actions from an egocentric (Ego) perspective is vital for applications like robot manipulation. However, previous studies either rely mainly on under-informed visual inputs to predict coarse human motions or follow the VRM/VLA paradigm, which suffers from insufficient robot data and the gap between human and robot embodiments. We observe that 3D hand pose naturally serves as a unified representation to bridge human-robot actions. Hence, we investigate an under-explored Vision-Language guided Egocentric 3D Hand Pose Forecasting (VL-EHPF) task, which aims to predict future Ego 3D hand poses from visual observations, a language instruction, and pose states. To overcome the limited field-of-view and highly dynamic motions in the Ego view, we propose a framework dubbed Exo2EgoPose, which innovatively leverages holistic and stable exocentric (Exo) demonstrations as guidance to compensate for partial and dynamic Ego-view cues. Specifically, we introduce a Dual-level Exocentric Reconstruction Module (DERM), which incorporates the paired Exo videos as supervision to reconstruct their video-level and chunked frame-level representations, thereby modeling spatial contexts and temporal dynamics. Then, the Global-to-Local Modulation Module (GLMM) utilizes the reconstructed hierarchical Exo representations for progressive feature refinement via attention mechanisms and adaptive modulation, enabling comprehensive Exo guidance for accurate Ego hand pose forecasting. Extensive experiments on \textit{AssemblyHands}, \textit{Ego-Exo4D}, and our newly constructed \textit{EgoMe-pose} benchmarks show the superiority of our method, which outperforms state-of-the-art methods by a large margin. Moreover, it demonstrates an effective human-to-robot transfer capability and yields improvements on the \textit{CALVIN} dataset. Code will be released.