mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU

📄 arXiv: 2501.13805v2 📥 PDF

作者: Yizhe Lv, Tingting Zhang, Zhijian Wang, Yunpeng Song, Han Ding, Jinsong Han, Fei Wang

分类: cs.CV

发布日期: 2025-01-23 (更新: 2025-07-06)

备注: 11 pages, Under Review

🔗 代码/项目: GITHUB

💡 一句话要点

提出mmEgoHand，利用头戴毫米波雷达和IMU进行手部姿态估计和手势识别。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 毫米波雷达 手部姿态估计 手势识别 多模态融合 Transformer IMU 头戴式系统

📋 核心要点

  1. 现有毫米波系统通常采用固定位置配置，限制了用户在预定义区域内的移动性，限制了实际部署场景。
  2. mmEgoHand通过头戴式毫米波雷达和IMU的融合，利用IMU补偿头部运动引起的雷达干扰，实现动态的手部姿态估计。
  3. 实验结果表明，该方法在手势识别任务中取得了90.8%的准确率，显著优于现有技术水平。

📝 摘要（中文）

本文提出了一种名为mmEgoHand的头戴式自中心系统，用于手部姿态估计，以支持手势识别、VR交互、技能数字化与评估以及机器人遥操作等应用。mmEgoHand协同集成了毫米波雷达和惯性测量单元（IMU），以实现动态感知。IMU主动补偿头部运动引起的雷达干扰，同时，我们提出的新型端到端Transformer架构通过多模态传感器融合同时估计3D手部关键点坐标。这种双模态框架实现了毫米波热图与IMU的时空对齐，克服了以自我为中心的感知场景中固有的视点不稳定性。我们进一步证明，中间手部姿态表示可以显著提高下游任务的性能，例如VR手势识别。对10名受试者在站立、坐姿、躺卧三种不同姿势下执行8种手势进行了广泛评估，实现了90.8%的识别准确率，大幅优于现有技术。

🔬 方法详解

问题定义：论文旨在解决现有毫米波雷达系统在手部姿态估计和手势识别中，由于固定位置配置而导致的用户移动性受限问题。现有方法难以在动态的、以自我为中心的视角下进行准确的手部姿态估计和手势识别。

核心思路：论文的核心思路是将毫米波雷达与IMU进行融合，利用IMU数据补偿头部运动对毫米波雷达数据的影响，从而实现动态场景下的手部姿态估计。同时，利用Transformer架构进行多模态传感器数据的融合，提取手部关键点信息。

技术框架：mmEgoHand系统主要包含以下几个模块：1) 毫米波雷达数据采集模块；2) IMU数据采集模块；3) 数据预处理模块，包括IMU数据补偿和毫米波热图生成；4) 基于Transformer的特征提取与融合模块；5) 3D手部关键点估计模块；6) 手势识别模块。整体流程是从毫米波雷达和IMU获取数据，经过预处理后，输入到Transformer网络中进行特征提取和融合，最终输出3D手部关键点坐标和手势识别结果。

关键创新：论文的关键创新在于：1) 提出了一种头戴式毫米波雷达和IMU融合的系统，实现了动态场景下的手部姿态估计；2) 设计了一种基于Transformer的端到端架构，用于多模态传感器数据的融合和手部关键点估计；3) 证明了中间手部姿态表示可以显著提高下游任务的性能，例如VR手势识别。

关键设计：Transformer网络的具体结构未知，但可以推测其输入为毫米波热图和IMU数据，输出为3D手部关键点坐标。损失函数可能包含关键点坐标的回归损失和手势分类的交叉熵损失。IMU数据的补偿算法细节未知，但推测可能使用卡尔曼滤波等方法进行姿态估计和补偿。毫米波热图的生成方式未知，可能涉及到信号处理和图像处理技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，mmEgoHand系统在8种手势识别任务中取得了90.8%的准确率，显著优于现有技术水平。此外，论文还证明了中间手部姿态表示可以显著提高下游任务的性能，例如VR手势识别。这些结果表明，该系统具有很高的实用价值和应用前景。

🎯 应用场景

该研究成果可应用于VR/AR交互、机器人遥操作、技能数字化与评估、医疗健康监测等领域。例如，在VR游戏中，用户可以通过手势与虚拟环境进行交互；在机器人遥操作中，操作者可以通过手势控制机器人完成复杂任务；在医疗健康监测中，可以利用手势识别技术进行康复训练和评估。

📄 摘要（原文）

Recent advancements in millimeter-wave (mmWave) radar have demonstrated its potential for human action recognition and pose estimation, offering privacy-preserving advantages over conventional cameras while maintaining occlusion robustness, with promising applications in human-computer interaction and wellness care. However, existing mmWave systems typically employ fixed-position configurations, restricting user mobility to predefined zones and limiting practical deployment scenarios. We introduce mmEgoHand, a head-mounted egocentric system for hand pose estimation to support applications such as gesture recognition, VR interaction, skill digitization and assessment, and robotic teleoperation. mmEgoHand synergistically integrates mmWave radar with inertial measurement units (IMUs) to enable dynamic perception. The IMUs actively compensate for radar interference induced by head movements, while our novel end-to-end Transformer architecture simultaneously estimates 3D hand keypoint coordinates through multi-modal sensor fusion. This dual-modality framework achieves spatial-temporal alignment of mmWave heatmaps with IMUs, overcoming viewpoint instability inherent in egocentric sensing scenarios. We further demonstrate that intermediate hand pose representations substantially improve performance in downstream task, e.g., VR gesture recognition. Extensive evaluations with 10 subjects performing 8 gestures across 3 distinct postures -- standing, sitting, lying -- achieve 90.8% recognition accuracy, outperforming state-of-the-art solutions by a large margin. Dataset and code are available at https://github.com/WhisperYi/mmVR.