Online Adaptation for Myographic Control of Natural Dexterous Hand and Finger Movements
作者: Joseph L. Betthauser, Rebecca Greene, Ananya Dhawan, John T. Krall, Christopher L. Hunt, Gyorgy Levay, Rahul R. Kaliki, Matthew S. Fifer, Siddhartha Sikdar, Nitish V. Thakor
分类: cs.RO, cs.CV
发布日期: 2024-12-23
备注: Modified from Chapter 5 of J. L. Betthauser, "Robust Adaptive Strategies for Myographic Prosthesis Movement Decoding," Doctoral Dissertation, Dept. of Electrical and Computer Engr, Johns Hopkins University, 2020
💡 一句话要点
提出基于肌电信号在线自适应的自然灵巧手部和手指运动控制方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 肌电控制 假肢控制 时序回归 强化学习 在线自适应 人机交互 表面肌电信号
📋 核心要点
- 现有肌电假肢控制难以同时可靠解码多个自由度的连续位置，限制了假肢的灵活性和自然性。
- 结合时序回归模型和强化学习，通过肌电信号预测多个手指和手腕自由度的连续位置，实现自然控制。
- 实验结果表明，该方法显著降低了误差率，几乎消除了预测延迟，并能通过强化学习持续改进性能。
📝 摘要（中文）
肌电假肢控制中最难以实现的目标之一是可靠地解码多个自由度的连续位置。本研究旨在展示先进的模块化假肢的灵巧、自然、仿生手指和手腕控制。研究结合了时序回归模型和强化学习，利用肌电信号预测7个手指和手腕自由度的连续同步位置，实验对象为9名非截肢者，训练过程为最小约束的自由形式。结果表明，基于肌电信号的7自由度位置回归假肢控制具有高度的灵巧性，误差率显著低于传统方法(p < 0.001)，且预测响应时间延迟几乎为零(p < 0.001)。通过自由形式的强化学习过程，其性能可以随时持续改进。该研究展示了迄今为止从表面肌电信号获得的最高度灵巧、仿生和自然的假肢控制性能。强化学习方法允许放弃标准训练协议，只需让受试者以任何期望的方式移动，模型即可自适应。该工作在假肢控制系统的可靠性、响应性和运动复杂性方面重新定义了肌电解码的最新水平。先进算法方法、实验协议、灵巧机器人假肢和传感器模式的融合，为最终实现截肢者完全恢复自然上肢功能的目标提供了独特的机会。
🔬 方法详解
问题定义：该论文旨在解决肌电假肢控制中难以实现的多个自由度（7个手指和手腕自由度）的连续位置同步解码问题。现有方法通常存在误差率高、响应延迟大、训练过程受限等痛点，难以实现自然、灵巧的假肢控制。
核心思路：论文的核心思路是结合时序回归模型和强化学习，利用表面肌电信号（sEMG）直接预测多个自由度的连续位置。通过时序回归模型捕捉肌电信号的时序动态，利用强化学习实现在线自适应和持续优化，从而提高控制的准确性和响应速度。
技术框架：整体框架包含数据采集、特征提取、时序回归模型、强化学习优化四个主要阶段。首先，通过表面肌电传感器采集受试者的肌电信号。然后，提取肌电信号的特征，例如时域特征或频域特征。接着，使用时序回归模型（如循环神经网络）将肌电信号特征映射到多个自由度的连续位置。最后，利用强化学习算法，根据用户的控制效果，在线调整模型参数，实现自适应优化。
关键创新：最重要的技术创新点在于结合了时序回归模型和强化学习，实现了肌电信号的在线自适应解码。与传统的离线训练方法相比，该方法能够根据用户的实际使用情况，持续优化模型参数，提高控制的准确性和自然性。此外，采用自由形式的训练过程，允许受试者以任何期望的方式移动，无需遵循特定的训练协议，降低了训练难度。
关键设计：论文中关键的设计包括：1）选择合适的时序回归模型，例如循环神经网络或长短期记忆网络，以捕捉肌电信号的时序动态；2）设计有效的强化学习算法，例如Q-learning或策略梯度方法，以在线调整模型参数；3）定义合适的奖励函数，以鼓励用户实现期望的控制目标；4）采用自由形式的训练过程，允许受试者以任何期望的方式移动。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在7自由度位置回归假肢控制中实现了高度的灵巧性，误差率显著低于传统方法(p < 0.001)，预测响应时间延迟几乎为零(p < 0.001)。通过自由形式的强化学习过程，性能可以随时持续改进。该研究展示了迄今为止从表面肌电信号获得的最高度灵巧、仿生和自然的假肢控制性能。
🎯 应用场景
该研究成果可应用于先进的肌电假肢控制系统，帮助截肢者恢复自然、灵巧的上肢功能。此外，该技术还可应用于虚拟现实、人机交互等领域，实现更加自然、直观的人机交互体验。未来，该研究有望推动康复机器人、外骨骼等领域的发展，提升人类的生活质量。
📄 摘要（原文）
One of the most elusive goals in myographic prosthesis control is the ability to reliably decode continuous positions simultaneously across multiple degrees-of-freedom. Goal: To demonstrate dexterous, natural, biomimetic finger and wrist control of the highly advanced robotic Modular Prosthetic Limb. Methods: We combine sequential temporal regression models and reinforcement learning using myographic signals to predict continuous simultaneous predictions of 7 finger and wrist degrees-of-freedom for 9 non-amputee human subjects in a minimally-constrained freeform training process. Results: We demonstrate highly dexterous 7 DoF position-based regression for prosthesis control from EMG signals, with significantly lower error rates than traditional approaches (p < 0.001) and nearly zero prediction response time delay (p < 0.001). Their performance can be continuously improved at any time using our freeform reinforcement process. Significance: We have demonstrated the most dexterous, biomimetic, and natural prosthesis control performance ever obtained from the surface EMG signal. Our reinforcement approach allowed us to abandon standard training protocols and simply allow the subject to move in any desired way while our models adapt. Conclusions: This work redefines the state-of-the-art in myographic decoding in terms of the reliability, responsiveness, and movement complexity available from prosthesis control systems. The present-day emergence and convergence of advanced algorithmic methods, experiment protocols, dexterous robotic prostheses, and sensor modalities represents a unique opportunity to finally realize our ultimate goal of achieving fully restorative natural upper-limb function for amputees.