Beyond Gestures: Estimating Full Hand Pose and Contact Forces from Wrist-Worn Pressure Sensor Array
作者: Svetoslav Kolev, Lingni Ma, Michael Goesele, Renzo De Nardi, Jakob Engel, Richard Newcombe
分类: cs.HC, cs.RO
发布日期: 2026-09-15
💡 一句话要点
提出基于腕部压力传感器的全手姿态与接触力估计方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 手势识别 压力传感器 手部姿态估计 交互力 可穿戴设备 虚拟现实 机器人学习
📋 核心要点
- 现有方法在捕捉手部姿态和交互力方面存在局限，难以实现高精度和实时性。
- 本文提出了一种基于腕部压力传感器的手环，利用肌肉和肌腱的压力模式来估计手部状态。
- 实验结果表明，该手环在单用户运动中的指关节估计误差为4.6度，接触力估计R²值可达0.75，显著提升了性能。
📝 摘要（中文）
捕捉手部运动和交互力对于交互计算、虚拟现实以及高保真触觉演示至关重要。本文介绍了一种腕部佩戴的压力传感器手环，能够在单一可穿戴设备上恢复连续的全手姿态和分布的接触力。该系统由围绕手腕的柔性电容传感器阵列组成，无需电气皮肤接触，并通过递归网络将压力信号映射到手部状态。我们的关键见解是肌肉收缩和肌腱位移产生的压力模式与手部姿态和交互力高度相关。通过同步记录腕部压力、光学运动捕捉手姿态和触觉手套交互力，我们验证了这一点。实验结果显示，在单用户的孤立运动中，手环的平均指关节绝对误差为4.6度，而在四名用户操控日常物品时，手环对每根手指接触力的估计达到R²=0.57，结合外部姿态信号可提升至0.75。
🔬 方法详解
问题定义：本文旨在解决现有手部姿态和交互力捕捉方法的不足，特别是在高精度和实时性方面的挑战。现有技术往往依赖于复杂的设备或无法有效捕捉细微的手部运动和力的变化。
核心思路：论文的核心思路是利用腕部佩戴的压力传感器手环，通过分析肌肉收缩和肌腱位移产生的压力模式，来估计手部的姿态和交互力。这种设计避免了对电气皮肤接触的需求，提升了佩戴的舒适性和灵活性。
技术框架：整体架构包括柔性电容传感器阵列、数据采集模块和递归神经网络。传感器阵列负责收集腕部压力信号，数据采集模块将信号传输至递归网络，后者负责将压力信号映射到手部状态。
关键创新：最重要的技术创新点在于通过腕部传感器捕捉手部的全姿态和接触力，而不是依赖于传统的视觉或触觉传感器。这种方法在手部被遮挡时仍能有效工作，拓展了应用场景。
关键设计：在网络结构上，采用递归神经网络以处理时序数据，损失函数设计为最小化手指关节位置的绝对误差，确保模型的准确性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在单用户的孤立运动中，手环的平均指关节绝对误差为4.6度，接触力估计的R²值为0.57，结合外部姿态信号后可提升至0.75。这表明该手环在手部姿态和交互力估计方面具有显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实、机器人学习和人机交互等。通过提供实时的手部姿态和接触力估计，该技术可以显著提升交互体验，尤其是在需要高精度触觉反馈的场景中。未来，该手环可与其他可穿戴设备结合，形成更为全面的交互系统。
📄 摘要（原文）
Capturing hand motion and interaction forces is critical for interactive computing, VR, and high-fidelity tactile demonstrations for robot learning. We introduce a wrist-worn pressure-sensing wristband that recovers continuous full-hand pose and distributed contact force on a single wearable. The system consists of flexible capacitive sensor arrays around the wrist, which require no electrical skin contact, and a recurrent network that maps the resulting pressure signal to hand state. Our key insight is that muscle contraction and tendon displacement produce pressure patterns, which correlate strongly with hand pose and interaction force. To validate this, we collect synchronized recordings of wrist pressure, optical motion-capture hand pose, and tactile-glove interaction force, covering isolated finger motion, fingertip-force stress tests, and natural hand-object manipulation. On isolated single-user motion the wristband attains $4.6^\circ$ mean finger-joint MAE, and across four users manipulating everyday objects it estimates per-finger contact force at $R^2=0.57$, which an external pose signal brings up to $0.75$. We see the wristband as one node in a constellation of everyday wearables -- e.g. paired with an egocentric camera -- adding the contact force that vision cannot observe and taking over when the hand is occluded.