Iteratively Learning Muscle Memory for Legged Robots to Master Adaptive and High Precision Locomotion
作者: Jing Cheng, Yasser G. Alqaham, Zhenyu Gan, Amit K. Sanyal
分类: cs.RO
发布日期: 2025-07-18
💡 一句话要点
提出基于迭代学习控制和力矩库的腿式机器人控制框架，实现自适应和高精度运动
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 腿式机器人控制 迭代学习控制 力矩库 自适应控制 高精度运动
📋 核心要点
- 现有腿式机器人控制方法难以在未建模动力学和外部干扰下实现精确轨迹跟踪。
- 该论文提出一种结合迭代学习控制（ILC）和力矩库（TL）的控制框架，模拟肌肉记忆，提升控制性能。
- 实验结果表明，该框架能显著降低关节跟踪误差，实现周期性和非周期性步态的可靠执行。
📝 摘要（中文）
本文提出了一种可扩展的自适应腿式机器人控制框架，该框架集成了迭代学习控制（ILC）和受生物学启发的力矩库（TL），类似于肌肉记忆。该方法解决了机器人运动中的关键挑战，包括在未建模动力学和外部干扰下的精确轨迹跟踪。通过利用周期性步态的重复性并将ILC扩展到非周期性任务，该框架提高了各种运动场景中的准确性和泛化能力。该控制架构是数据驱动的，结合了源于混合系统轨迹优化的基于物理的模型和实时学习，以补偿模型不确定性和外部干扰。一个核心贡献是开发了一个通用的TL，它可以存储学习到的控制配置文件，并能够快速适应速度、地形和重力条件的变化，从而消除了重复学习的需要，并显著减少了在线计算。该方法在双足机器人Cassie和四足机器人A1上通过大量的仿真和硬件实验进行了验证。结果表明，所提出的框架在几秒钟内将关节跟踪误差降低了高达85%，并能够可靠地执行周期性和非周期性步态，包括斜坡穿越和地形适应。与最先进的全身控制器相比，学习到的技能消除了执行期间的在线计算需求，并实现了超过现有方法30倍的控制更新速率。这些发现突出了将ILC与力矩记忆相结合作为一种高效数据且实用的解决方案，用于非结构化和动态环境中的腿式运动的有效性。
🔬 方法详解
问题定义：腿式机器人在复杂环境中运动时，由于模型不确定性、外部干扰等因素，难以实现精确的轨迹跟踪和自适应控制。现有的控制方法，如全身控制，通常需要大量的在线计算，难以满足实时性要求，并且泛化能力有限。
核心思路：该论文的核心思路是结合迭代学习控制（ILC）和力矩库（TL），利用周期性运动的重复性，通过迭代学习不断优化控制策略，并将学习到的控制力矩存储在力矩库中，类似于生物的肌肉记忆。这样，机器人可以快速适应新的环境和任务，而无需每次都从头开始学习。
技术框架：该控制框架主要包含以下几个模块：1) 基于混合系统轨迹优化的物理模型，用于生成初始轨迹；2) 迭代学习控制（ILC）模块，用于根据实际运动误差不断优化控制力矩；3) 力矩库（TL），用于存储学习到的控制力矩，并根据当前状态进行检索和调整；4) 低层力矩控制，用于将力矩库输出的力矩转化为关节电机的控制信号。整体流程是，首先利用物理模型生成初始轨迹，然后通过ILC不断优化控制力矩，并将优化后的力矩存储在TL中。在实际运动过程中，根据当前状态从TL中检索合适的力矩，并进行实时调整，最终实现精确的轨迹跟踪和自适应控制。
关键创新：该论文的关键创新在于：1) 将ILC扩展到非周期性任务，使其能够处理更复杂的运动场景；2) 提出了通用的力矩库（TL），可以存储学习到的控制配置文件，并能够快速适应速度、地形和重力条件的变化，从而消除了重复学习的需要，并显著减少了在线计算；3) 将数据驱动的ILC与基于物理的模型相结合，提高了控制器的鲁棒性和泛化能力。
关键设计：力矩库（TL）的设计是关键。TL存储了不同状态下的控制力矩，状态空间需要合理离散化。ILC算法的选择也很重要，需要考虑收敛速度和鲁棒性。此外，如何将TL中的力矩应用到实际控制中，需要设计合适的插值和调整策略。论文中可能还涉及一些参数的调整，例如ILC的学习率、TL的存储容量等，但具体细节未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在双足机器人Cassie和四足机器人A1上均取得了显著的性能提升。关节跟踪误差降低了高达85%，并且能够可靠地执行周期性和非周期性步态，包括斜坡穿越和地形适应。与最先进的全身控制器相比，该方法消除了执行期间的在线计算需求，并实现了超过现有方法30倍的控制更新速率。
🎯 应用场景
该研究成果可广泛应用于腿式机器人的各种应用场景，例如：搜救、物流、巡检、探索等。通过学习和记忆运动技能，机器人可以更好地适应复杂地形和动态环境，完成各种任务。此外，该方法还可以应用于其他类型的机器人，例如：机械臂、无人机等，提高其运动控制的精度和鲁棒性。
📄 摘要（原文）
This paper presents a scalable and adaptive control framework for legged robots that integrates Iterative Learning Control (ILC) with a biologically inspired torque library (TL), analogous to muscle memory. The proposed method addresses key challenges in robotic locomotion, including accurate trajectory tracking under unmodeled dynamics and external disturbances. By leveraging the repetitive nature of periodic gaits and extending ILC to nonperiodic tasks, the framework enhances accuracy and generalization across diverse locomotion scenarios. The control architecture is data-enabled, combining a physics-based model derived from hybrid-system trajectory optimization with real-time learning to compensate for model uncertainties and external disturbances. A central contribution is the development of a generalized TL that stores learned control profiles and enables rapid adaptation to changes in speed, terrain, and gravitational conditions-eliminating the need for repeated learning and significantly reducing online computation. The approach is validated on the bipedal robot Cassie and the quadrupedal robot A1 through extensive simulations and hardware experiments. Results demonstrate that the proposed framework reduces joint tracking errors by up to 85% within a few seconds and enables reliable execution of both periodic and nonperiodic gaits, including slope traversal and terrain adaptation. Compared to state-of-the-art whole-body controllers, the learned skills eliminate the need for online computation during execution and achieve control update rates exceeding 30x those of existing methods. These findings highlight the effectiveness of integrating ILC with torque memory as a highly data-efficient and practical solution for legged locomotion in unstructured and dynamic environments.