ReJSHand: Efficient Real-Time Hand Pose Estimation and Mesh Reconstruction Using Refined Joint and Skeleton Features

📄 arXiv: 2503.05995v1 📥 PDF

作者: Shan An, Shipeng Dai, Mahrukh Ansari, Yu Liang, Ming Zeng, Konstantinos A. Tsintotas, Changhong Fu, Hong Zhang

分类: cs.RO

发布日期: 2025-03-08

🔗 代码/项目: GITHUB

💡 一句话要点

ReJSHand：利用精细化关节与骨骼特征实现高效实时手部姿态估计与网格重建

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)

关键词: 手部姿态估计 网格重建 实时性 机器人交互 深度学习 注意力机制 关键点检测

📋 核心要点

  1. 现有手部姿态估计方法在实时性和精度上难以兼顾，尤其是在机器人交互等对响应速度要求高的场景下。
  2. ReJSHand通过精细化关节和骨骼特征，结合多头自注意力和坐标注意力机制，提升特征表达能力，从而实现高效准确的3D手部姿态估计。
  3. 在FreiHand数据集上，ReJSHand实现了72FPS的帧率，同时保持了较低的PA-MPJPE和PA-MPVPE，并在F@05和F@15指标上超越了现有方法。

📝 摘要（中文）

本文提出了一种名为ReJSHand（精细化关节与骨骼特征）的先进网络，用于实时手部姿态估计和网格重建。该框架旨在准确预测实时约束下的3D手势，这对于需要敏捷和响应式手部运动跟踪的系统至关重要。网络设计优先考虑计算效率，同时不牺牲准确性，这是即时机器人交互的先决条件。ReJSHand包含一个2D关键点生成器、一个3D关键点生成器、一个扩展块和一个特征交互块，用于从2D图像中精确重建3D手部姿态。此外，多头自注意力机制和坐标注意力层增强了特征表示，通过复杂的特征映射和线性变换简化了手部网格顶点的创建。在性能方面，在FreiHand数据集上的综合评估表明ReJSHand具有强大的计算能力，在保持6.3毫米的PA-MPJPE（位置精确的平均关节位置误差）和6.4毫米的PA-MPVPE（位置精确的平均顶点位置误差）的同时，实现了72帧/秒的帧率。此外，我们的模型在F@05和F@15上分别达到了0.756和0.984的分数，超过了现有的先进方法，巩固了其在机器人手部姿态估计器中的领先地位。为了方便未来的研究，我们提供了源代码。

🔬 方法详解

问题定义：论文旨在解决在实时性要求高的场景下，准确进行3D手部姿态估计和网格重建的问题。现有方法通常难以在计算效率和精度之间取得平衡，限制了其在机器人交互等领域的应用。

核心思路：论文的核心思路是利用精细化的关节和骨骼特征，结合注意力机制，提升特征表达能力，从而在保证精度的前提下，提高计算效率。通过2D和3D关键点生成器以及特征交互模块，实现从2D图像到3D手部姿态的准确重建。

技术框架：ReJSHand的整体框架包含以下几个主要模块：1) 2D关键点生成器：从输入图像中提取2D手部关键点；2) 3D关键点生成器：利用2D关键点信息预测3D关键点；3) 扩展块：用于扩展特征维度，增强特征表达能力；4) 特征交互块：融合不同尺度的特征，提升姿态估计的准确性；5) 网格重建模块：利用关键点信息重建手部网格。

关键创新：ReJSHand的关键创新在于：1) 精细化关节和骨骼特征的提取与利用，能够更准确地捕捉手部姿态信息；2) 引入多头自注意力和坐标注意力机制，增强特征表示能力，提高姿态估计的鲁棒性；3) 通过精心设计的网络结构，在保证精度的前提下，显著提高了计算效率。

关键设计：ReJSHand使用了多头自注意力机制来捕捉关键点之间的关系，并使用坐标注意力层来关注关键点的位置信息。损失函数方面，可能使用了关键点位置误差和网格顶点位置误差的加权和。具体的网络结构细节（如卷积层数、通道数等）未知，但整体设计目标是在保证精度的前提下，尽可能减少计算量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReJSHand在FreiHand数据集上取得了显著的性能提升。在保持72FPS的帧率下，PA-MPJPE为6.3mm，PA-MPVPE为6.4mm。此外，F@05指标达到0.756，F@15指标达到0.984，超越了现有的先进方法，证明了ReJSHand在实时性和精度方面的优越性。

🎯 应用场景

ReJSHand在机器人灵巧操作、人机交互、虚拟现实/增强现实等领域具有广泛的应用前景。例如，可以用于机器人远程操作，使机器人能够模仿人类的手部动作；也可以用于VR/AR游戏中，实现更自然的手部交互体验。该研究的突破将推动这些领域的发展，使人机交互更加自然、高效。

📄 摘要（原文）

Accurate hand pose estimation is vital in robotics, advancing dexterous manipulation in human-computer interaction. Toward this goal, this paper presents ReJSHand (which stands for Refined Joint and Skeleton Features), a cutting-edge network formulated for real-time hand pose estimation and mesh reconstruction. The proposed framework is designed to accurately predict 3D hand gestures under real-time constraints, which is essential for systems that demand agile and responsive hand motion tracking. The network's design prioritizes computational efficiency without compromising accuracy, a prerequisite for instantaneous robotic interactions. Specifically, ReJSHand comprises a 2D keypoint generator, a 3D keypoint generator, an expansion block, and a feature interaction block for meticulously reconstructing 3D hand poses from 2D imagery. In addition, the multi-head self-attention mechanism and a coordinate attention layer enhance feature representation, streamlining the creation of hand mesh vertices through sophisticated feature mapping and linear transformation. Regarding performance, comprehensive evaluations on the FreiHand dataset demonstrate ReJSHand's computational prowess. It achieves a frame rate of 72 frames per second while maintaining a PA-MPJPE (Position-Accurate Mean Per Joint Position Error) of 6.3 mm and a PA-MPVPE (Position-Accurate Mean Per Vertex Position Error) of 6.4 mm. Moreover, our model reaches scores of 0.756 for F@05 and 0.984 for F@15, surpassing modern pipelines and solidifying its position at the forefront of robotic hand pose estimators. To facilitate future studies, we provide our source code at ~\url{https://github.com/daishipeng/ReJSHand}.