Decoding High-Dimensional Finger Motion from EMG Using Riemannian Features and RNNs

📄 arXiv: 2604.22499v1 📥 PDF

作者: Martin Colot, Cédric Simar, Guy Cheron, Ana Maria Cebolla Alvarez, Gianluca Bontempi

分类: cs.LG, cs.RO

发布日期: 2026-04-24

备注: 13 pages, 10 figures, 3 tables, links to a GitHub, a dataset on Zenodo, and two videos on YouTube

💡 一句话要点

提出基于黎曼特征和RNN的框架以解码高维手指运动

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 肌电图解码 手指运动识别 深度学习 实时控制 黎曼特征 GRU模型 机器人手 自然交互

📋 核心要点

  1. 现有方法通过分类学习简化手指运动识别，限制了可控自由度，导致自然交互受限。
  2. 提出的框架结合了EMG臂带和摄像头，使用TRR模型进行连续运动学回归，降低了硬件要求。
  3. TRR在EMG-FK数据集上实现了9.79°的平均绝对误差，且在树莓派5上可实时运行，速度是现有方法的十倍。

📝 摘要（中文）

本研究提出了一种基于表面肌电图（EMG）连续估计高维手指运动学的框架，旨在为手部假肢、增强现实/扩展现实接口和远程操作提供自然控制。现有方法通常通过分类机器学习来简化任务复杂性，限制了可控自由度，影响自然交互。我们开发的框架结合了8通道EMG臂带和单个网络摄像头，收集了EMG-FK数据集，包含20名参与者的丰富右手运动数据。引入的轻量级GRU模型——时间黎曼回归器（TRR）利用多带黎曼协方差特征解码手指运动，实验结果显示其在EMG-FK和公共基准上均优于现有方法，且在树莓派5上实现了实时部署。

🔬 方法详解

问题定义：本研究旨在解决从前臂表面肌电图（EMG）中准确解码高维手指运动的问题。现有方法通常依赖于分类模型，导致可控自由度受限，影响自然交互体验。

核心思路：我们提出了一种端到端的框架，通过连续的EMG到运动学回归，利用轻量级的时间黎曼回归器（TRR）模型，直接从EMG信号中解码手指运动。这样的设计旨在提高解码的准确性和实时性，同时降低硬件要求。

技术框架：该框架包括三个主要模块：1）8通道EMG臂带用于信号采集；2）单个摄像头用于捕捉手指运动；3）自动同步程序确保EMG信号与手指运动数据的同步。数据收集后，使用TRR模型进行运动学回归。

关键创新：最重要的创新在于引入了时间黎曼回归器（TRR），该模型利用多带黎曼协方差特征进行解码，显著提高了在不同参与者之间的泛化能力，区别于传统的分类方法。

关键设计：TRR模型基于GRU结构，采用序列的多带黎曼协方差特征作为输入，损失函数设计为最小化运动学预测的绝对误差。模型在EMG-FK数据集上表现出色，且在树莓派5上实现了近10次预测每秒的速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在EMG-FK数据集上，TRR模型在参与者内的平均绝对误差为9.79°，参与者间为16.71°，均优于现有方法。此外，TRR在树莓派5上的实时运行速度接近10次预测每秒，比现有方法快一个数量级，展示了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括手部假肢控制、增强现实和扩展现实接口的自然交互，以及远程操作系统。通过降低硬件要求和提高解码精度，该框架为未来的EMG基础控制系统提供了更为直观和自然的操作方式，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Continuous estimation of high-dimensional finger kinematics from forearm surface electromyography (EMG) could enable natural control for hand prostheses, AR/XR interfaces, and teleoperation. However, the complexity of human hand gestures and the entanglement of forearm muscles make accurate recognition intrinsically challenging. Existing approaches typically reduce task complexity by relying on classification-based machine learning, limiting the controllable degrees of freedom and compromising on natural interaction. We present an end-to-end framework for continuous EMG-to-kinematics regression using only consumer-grade hardware. The framework combines an 8-channel EMG armband, a single webcam, and an automatic synchronization procedure, enabling the collection of the EMG Finger-Kinematics dataset (EMG-FK), a 10-h dataset of synchronized EMG and 15 finger joint angles from 20 participants performing rich, unconstrained right-hand motions. We also introduce the Temporal Riemannian Regressor (TRR), a lightweight GRU-based model that uses sequences of multi-band Riemannian covariance features to decode finger motion. Across EMG-FK and the public emg2pose benchmark, TRR outperforms state-of-the-art methods in both intra- and cross-subject evaluation. On EMG-FK, it reaches an average absolute error of $9.79 °\pm 1.48$ in intra-subject and $16.71 °\pm 3.97$ in cross-subject. Finally, we demonstrate real-time deployment on a Raspberry Pi 5 and intuitive control of a robotic hand; TRR runs at nearly 10 predictions/s and is roughly an order of magnitude faster than state-of-the-art approaches. Together, these contributions lower the barrier to reproducible, real-time EMG-based decoding of high-dimensional finger motion, and pave the way toward more natural and intuitive control of embedded EMG-based systems.