Variable-Impedance Muscle Coordination under Slow-Rate Control Frequencies and Limited Observation Conditions Evaluated through Legged Locomotion
作者: Hidaka Asai, Tomoyuki Noda, Jun Morimoto
分类: eess.SY, cs.RO
发布日期: 2025-12-03
备注: 12 pages, 11 figures. Submitted to IEEE Transactions on Systems, Man, and Cybernetics: Systems
💡 一句话要点
单足机器人变阻抗肌肉协调控制：应对低频控制与有限观测
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 变阻抗控制 肌肉协调 强化学习 形态计算 机器人运动控制
📋 核心要点
- 现有运动控制方法在高频反馈和完整观测条件下表现良好，但在低频控制和有限观测下性能下降。
- 论文提出一种分层控制架构，结合高层神经网络和低层变阻抗肌肉协调，利用形态计算减轻高层控制负担。
- 实验表明，即使在低频控制和有限观测条件下，所提出的变阻抗肌肉协调方法也能实现稳定的单足运动。
📝 摘要（中文）
人类运动控制即使在有限的感官反馈信息下依然灵活且鲁棒，这归功于身体通过具有可变阻抗的肌肉协调进行形态计算的能力。然而，这种低层次的机械计算如何降低高层次控制器的控制需求仍不清楚。本研究实现了一个分层控制器，包括一个由强化学习训练的高层次神经网络和一个具有单关节和双关节肌肉的低层次变阻抗肌肉协调模型，用于单足运动任务。我们通过改变控制频率和引入生物学启发的观测条件（延迟、部分和替代观测）来系统地限制高层次控制器。在这些条件下，我们评估了低层次变阻抗肌肉协调如何促进高层次神经网络的学习过程。结果表明，即使在低频控制和有限观测条件下，变阻抗肌肉协调也能实现稳定的运动。这些发现表明，肌肉协调的形态计算有效地减轻了高层次控制器的高频反馈负担，并为运动控制中的控制器设计提供了原则。
🔬 方法详解
问题定义：现有机器人运动控制方法通常依赖于高频率的反馈和完整的状态观测，这在实际应用中难以保证。例如，传感器可能存在延迟、部分信息缺失或被其他信息替代。此外，高频控制对计算资源和硬件要求较高。因此，如何在低频控制和有限观测条件下实现鲁棒的运动控制是一个重要的挑战。
核心思路：论文的核心思路是利用肌肉的变阻抗特性进行形态计算，从而减轻高层控制器的负担。通过调整肌肉的刚度和阻尼，可以使机器人对外部扰动具有一定的被动适应能力，从而降低对高频反馈的需求。这种方法模仿了生物体在运动控制中的一些特性，例如，即使在感觉信息不完整的情况下，人类也能保持平衡和协调。
技术框架：该研究采用了一个分层控制框架。高层控制器是一个神经网络，通过强化学习进行训练，负责生成目标运动轨迹。低层控制器是一个变阻抗肌肉协调模型，负责根据高层控制器的指令，调整肌肉的刚度和阻尼，从而实现对机器人的运动控制。该模型包含单关节和双关节肌肉，可以模拟肌肉之间的相互作用。
关键创新：该研究的关键创新在于将变阻抗肌肉协调模型与强化学习相结合，并系统地评估了该方法在低频控制和有限观测条件下的性能。通过引入延迟、部分和替代观测等生物学启发的观测条件，可以更真实地模拟实际应用中的情况。此外，该研究还探讨了变阻抗肌肉协调如何减轻高层控制器的负担，从而降低对计算资源和硬件的要求。
关键设计：高层神经网络使用ReLU激活函数，并通过TRPO算法进行训练。低层变阻抗肌肉协调模型使用PD控制，其中刚度和阻尼参数可以根据高层控制器的指令进行调整。实验中，控制频率被设置为较低的值，例如10Hz，以模拟低频控制的情况。观测条件包括延迟观测（引入时间延迟）、部分观测（只观测部分状态变量）和替代观测（用其他状态变量替代缺失的状态变量）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在低频控制（10Hz）和有限观测条件下，所提出的变阻抗肌肉协调方法能够实现稳定的单足运动。与没有变阻抗肌肉协调的基线方法相比，该方法在延迟观测、部分观测和替代观测等条件下均表现出更好的性能。具体来说，该方法能够显著提高机器人的平衡性和运动效率，并降低对高频反馈的需求。
🎯 应用场景
该研究成果可应用于各种机器人运动控制领域，尤其是在资源受限或环境感知能力有限的场景下，例如欠驱动机器人、外骨骼机器人和假肢等。通过利用变阻抗肌肉协调的形态计算能力，可以降低对传感器和计算资源的要求，提高机器人的鲁棒性和适应性。此外，该研究还可以为生物启发式机器人控制器的设计提供指导。
📄 摘要（原文）
Human motor control remains agile and robust despite limited sensory information for feedback, a property attributed to the body's ability to perform morphological computation through muscle coordination with variable impedance. However, it remains unclear how such low-level mechanical computation reduces the control requirements of the high-level controller. In this study, we implement a hierarchical controller consisting of a high-level neural network trained by reinforcement learning and a low-level variable-impedance muscle coor dination model with mono- and biarticular muscles in monoped locomotion task. We systematically restrict the high-level controller by varying the control frequency and by introducing biologically inspired observation conditions: delayed, partial, and substituted observation. Under these conditions, we evaluate how the low-level variable-impedance muscle coordination contributes to learning process of high-level neural network. The results show that variable-impedance muscle coordination enables stable locomotion even under slow-rate control frequency and limited observation conditions. These findings demonstrate that the morphological computation of muscle coordination effectively offloads high-frequency feedback of the high-level controller and provide a design principle for the controller in motor control.