Adaptive Torque Control of Exoskeletons under Spasticity Conditions via Reinforcement Learning
作者: Andrés Chavarrías, David Rodriguez-Cianca, Pablo Lanillos
分类: cs.RO, cs.AI, cs.LG, eess.SY
发布日期: 2025-03-14
备注: Accepted for publication in IEEE 19th International Conference on Rehabilitation Robotics (ICORR2025)
期刊: International Conference On Rehabilitation Robotics : [Proceedings]. 705-711 - 2025-01-01
DOI: 10.1109/ICORR66766.2025.11063182
💡 一句话要点
提出基于强化学习的自适应力矩控制方法，用于痉挛条件下外骨骼的控制。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 外骨骼 痉挛 自适应控制 数字孪生
📋 核心要点
- 痉挛是神经系统疾病常见的运动障碍，现有外骨骼控制器难以应对其速度依赖性和个体差异。
- 利用深度强化学习，构建数字孪生模型，训练自适应力矩控制器，优化任务性能并降低交互力。
- 仿真结果表明，该控制器能有效控制不同痉挛程度下的外骨骼，并降低关节力矩和均方根误差。
📝 摘要（中文）
痉挛是脑瘫、遗传性痉挛性截瘫、脊髓损伤和中风患者常见的运动障碍症状，也是这些疾病进展中最具致残性的特征之一。尽管可穿戴机器人具有治疗痉挛的潜力，但目前不建议改良Ashworth量表上痉挛程度高于1+的受试者使用。这种速度依赖性强直性牵张反射的变化动力学使得部署安全、个性化的控制器变得困难。本文提出了一种新颖的自适应力矩控制器，该控制器通过深度强化学习（RL）实现，用于关节痉挛条件下的膝关节外骨骼，同时考虑了任务性能和交互力降低。为了训练RL智能体，我们开发了一个数字孪生模型，包括一个具有关节不对准的肌肉骨骼-外骨骼系统和一个用于肌肉激活的可微痉挛反射模型。模拟膝关节伸展运动的结果表明，该智能体学会了控制不同痉挛程度个体使用的外骨骼。与传统的顺应性控制器相比，所提出的控制器能够将痉挛条件下施加于人体关节的最大力矩平均降低10.6％，并将稳定时间内的均方根降低8.9％。
🔬 方法详解
问题定义：论文旨在解决痉挛患者使用外骨骼时，由于痉挛的个体差异性和时变性，传统控制器难以保证安全性和有效性的问题。现有方法无法有效应对痉挛引起的非线性动力学，容易导致过大的关节力矩和不稳定的控制。
核心思路：论文的核心思路是利用深度强化学习，通过与数字孪生环境的交互，学习一个自适应的力矩控制器。该控制器能够根据患者的痉挛程度和运动状态，动态调整外骨骼的辅助力矩，从而实现安全、有效的辅助运动。通过优化奖励函数，同时考虑任务完成情况和人机交互力，从而在保证运动效果的同时，降低患者的不适感。
技术框架：整体框架包括以下几个主要模块：1) 数字孪生环境：构建包含肌肉骨骼系统、外骨骼和痉挛反射模型的仿真环境。2) 强化学习智能体：使用深度神经网络作为策略网络，学习最优的力矩控制策略。3) 奖励函数设计：设计综合考虑任务完成情况和人机交互力的奖励函数。4) 训练过程：通过与数字孪生环境的交互，不断优化策略网络。
关键创新：论文的关键创新在于：1) 提出了基于深度强化学习的自适应力矩控制方法，能够有效应对痉挛的个体差异性和时变性。2) 构建了包含肌肉骨骼系统、外骨骼和可微痉挛反射模型的数字孪生环境，为强化学习智能体的训练提供了可靠的平台。3) 设计了综合考虑任务完成情况和人机交互力的奖励函数，实现了安全、有效的辅助运动。
关键设计：论文的关键设计包括：1) 使用了Actor-Critic算法进行强化学习训练。2) 奖励函数由两部分组成：一部分是与任务完成相关的奖励，例如膝关节角度与目标角度的接近程度；另一部分是与人机交互力相关的惩罚，例如关节力矩的大小。3) 策略网络使用多层感知机，输入包括关节角度、角速度和痉挛程度等信息，输出为外骨骼的辅助力矩。
🖼️ 关键图片
📊 实验亮点
仿真实验结果表明，与传统的顺应性控制器相比，该方法能够将痉挛条件下施加于人体关节的最大力矩平均降低10.6％，并将稳定时间内的均方根误差降低8.9％。这些数据表明，该方法能够有效降低人机交互力，提高控制器的稳定性和安全性。
🎯 应用场景
该研究成果可应用于康复机器人领域，特别是针对脑瘫、脊髓损伤等引起的痉挛患者。通过自适应力矩控制，外骨骼能够更安全、有效地辅助患者进行运动训练，改善运动功能，提高生活质量。未来，该技术有望推广到其他类型的可穿戴机器人和康复设备中。
📄 摘要（原文）
Spasticity is a common movement disorder symptom in individuals with cerebral palsy, hereditary spastic paraplegia, spinal cord injury and stroke, being one of the most disabling features in the progression of these diseases. Despite the potential benefit of using wearable robots to treat spasticity, their use is not currently recommended to subjects with a level of spasticity above ${1^+}$ on the Modified Ashworth Scale. The varying dynamics of this velocity-dependent tonic stretch reflex make it difficult to deploy safe personalized controllers. Here, we describe a novel adaptive torque controller via deep reinforcement learning (RL) for a knee exoskeleton under joint spasticity conditions, which accounts for task performance and interaction forces reduction. To train the RL agent, we developed a digital twin, including a musculoskeletal-exoskeleton system with joint misalignment and a differentiable spastic reflexes model for the muscles activation. Results for a simulated knee extension movement showed that the agent learns to control the exoskeleton for individuals with different levels of spasticity. The proposed controller was able to reduce maximum torques applied to the human joint under spastic conditions by an average of 10.6\% and decreases the root mean square until the settling time by 8.9\% compared to a conventional compliant controller.