EgoRayFormer: Ray-Space Stereo Refinement for Egocentric 3D Human Pose Estimation

📄 arXiv: 2610.26641v1 📥 PDF

作者: Haozhe Wang, Songyuan Wu, Jihai Xu, Jie Zhao

分类: cs.RO

发布日期: 2026-10-19

💡 一句话要点

提出EgoRayFormer以解决头戴立体鱼眼相机的3D姿态估计问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D姿态估计 立体视觉 光线空间 几何精细化 深度学习 虚拟现实 增强现实

📋 核心要点

  1. 现有方法在处理头戴式立体鱼眼相机的3D姿态估计时面临强烈畸变和部分可见性等挑战，导致精度不足。
  2. EgoRayFormer通过在光线空间中耦合立体特征采样和几何精细化，提出了一种新的因果姿态估计方法，增强了对3D假设的处理。
  3. 在UnrealEgo2和UnrealEgo-RW数据集上，EgoRayFormer分别实现了17.64 mm和49.55 mm的MPJPE，相较于基线有显著提升。

📝 摘要（中文）

头戴式立体鱼眼相机提供了佩戴者身体的紧凑视图，但由于强烈的畸变、部分可见性和短基线，使得3D姿态估计变得困难。现有的精细化解码器在每个视图中独立采样图像特征，而不要求样本对应于共同的3D假设。我们提出了EgoRayFormer，这是一种因果姿态估计器，将立体特征采样和几何精细化结合在光线空间中。解码器为每个关节沿其视线投影共享的3D假设到两个图像中，几何分支随后修正投影的关节位置并交叉结果光线；学习的门控机制将几何估计与学习的姿态更新进行融合。该方法引入了显式的立体约束，同时在光线提供弱深度约束时保持灵活性。

🔬 方法详解

问题定义：本论文旨在解决头戴式立体鱼眼相机在3D姿态估计中的困难，现有方法在特征采样时未能有效结合不同视图的信息，导致精度不足。

核心思路：EgoRayFormer通过在光线空间中耦合立体特征采样与几何精细化，允许解码器为每个关节投影共享的3D假设，从而更好地处理不同视图间的关系。

技术框架：该方法的整体架构包括解码器、几何分支和学习门控机制。解码器负责将3D假设投影到图像中，几何分支修正关节位置，而学习门控机制则融合几何估计与姿态更新。

关键创新：EgoRayFormer的创新在于引入了显式的立体约束，使得在光线提供弱深度约束时仍能保持灵活性，这与现有方法的独立采样方式形成了鲜明对比。

关键设计：该方法使用了共享的3D假设投影机制，设计了几何分支来修正关节位置，并通过学习门控机制来优化姿态更新，确保了模型在不同输入分辨率下的稳定性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

EgoRayFormer在UnrealEgo2和UnrealEgo-RW数据集上分别实现了17.64 mm和49.55 mm的MPJPE，相较于基线EgoPoseFormer在RW测试中减少了9.09 mm的MPJPE，显示出显著的性能提升。

🎯 应用场景

EgoRayFormer在虚拟现实、增强现实和人机交互等领域具有广泛的应用潜力。其精确的3D姿态估计能力可以提升用户体验，推动智能穿戴设备的发展，并为机器人导航和人类行为分析提供支持。

📄 摘要（原文）

Head-mounted stereo fisheye cameras provide a compact view of the wearer's body, but strong distortion, partial visibility and a short baseline make 3D pose estimation difficult. Existing refinement decoders sample image features independently in each view, without requiring the samples to correspond to a common 3D hypothesis. We introduce EgoRayFormer, a causal pose estimator that couples stereo feature sampling and geometric refinement in ray space. For each joint, the decoder projects shared 3D hypotheses along and around its viewing ray into both images. A geometric branch then corrects the projected joint locations and intersects the resulting rays; a learned gate blends this geometric estimate with a learned pose update. This formulation introduces an explicit stereo constraint while retaining flexibility when the rays provide weak depth constraints. In local evaluations on the official device-relative test splits, EgoRayFormer achieves three-seed mean MPJPEs of 17.64 mm on UnrealEgo2 and 49.55 mm on UnrealEgo-RW, improving to 47.57 mm with UnrealEgo2 pre-training. In paired validation ablations, removing the geometric branch increases MPJPE in all three seeds at both input resolutions. With a common ResNet-18 encoder and input resolution, our system reduces RW test MPJPE by 9.09 mm relative to the device-relative EgoPoseFormer baseline. A separate protocol analysis quantifies the difference between device-relative and oracle-root evaluation.