Continual Learning and Lifting of Koopman Dynamics for Linear Control of Legged Robots

📄 arXiv: 2411.14321v3 📥 PDF

作者: Feihan Li, Abulikemu Abuduweili, Yifan Sun, Rui Chen, Weiye Zhao, Changliu Liu

分类: cs.RO

发布日期: 2024-11-21 (更新: 2025-06-03)

💡 一句话要点

提出基于持续学习和Koopman动态提升的线性控制方法，用于腿式机器人控制。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: Koopman算子 持续学习 腿式机器人 线性控制 模型预测控制 非线性系统 动力学建模

📋 核心要点

  1. 腿式机器人控制面临高维度非线性动力学挑战，传统线性控制方法难以直接应用。
  2. 论文提出一种持续学习算法，迭代优化Koopman动态模型，逐步提升线性近似的精度。
  3. 实验表明，该方法在多种腿式机器人上，使用线性MPC控制器，实现了高性能的运动控制。

📝 摘要（中文）

针对腿式机器人（特别是人形和四足机器人）高维度和非线性动力学带来的控制难题，本文提出了一种持续学习算法，用于迭代优化Koopman动态模型。该方法通过逐步扩展数据集和潜在空间维度，使学习到的Koopman动态模型能够收敛到真实系统动力学的精确近似。理论分析表明，该方法的线性近似误差单调收敛。实验结果表明，该方法在Unitree G1/H1/A1/Go2和ANYmal D等机器人上，使用简单的线性MPC控制器，在各种地形上实现了高性能控制。这项工作首次成功地将线性化的Koopman动态模型应用于高维腿式机器人的运动控制，实现了一种可扩展的基于模型的控制解决方案。

🔬 方法详解

问题定义：腿式机器人由于其高维度和非线性动力学特性，难以使用传统的线性控制方法进行有效控制。Koopman算子虽然可以将非线性动力学近似为线性模型，但数据驱动的Koopman算子学习面临近似误差、领域偏移以及固定线性状态空间表示的限制，导致其在高维腿式机器人上的应用受限。

核心思路：论文的核心思路是通过持续学习的方式，逐步提升Koopman动态模型的精度。具体而言，通过迭代地扩展数据集和潜在空间维度，使得学习到的Koopman动态模型能够逐渐逼近真实的系统动力学。这种持续学习的策略能够克服传统Koopman算子学习中的各种挑战，提高模型的泛化能力和鲁棒性。

技术框架：该方法主要包含以下几个阶段：1) 数据收集：通过在机器人上进行运动实验，收集机器人的状态和控制输入数据。2) Koopman算子学习：使用收集到的数据，学习Koopman算子的线性表示。3) 潜在空间扩展：根据学习到的Koopman算子的性能，逐步扩展潜在空间的维度，以提高模型的表达能力。4) 线性MPC控制：使用学习到的Koopman动态模型，设计线性MPC控制器，实现对机器人的运动控制。5) 迭代优化：重复以上步骤，不断优化Koopman动态模型和MPC控制器。

关键创新：该方法最重要的创新点在于将持续学习的思想引入到Koopman算子的学习中。通过迭代地扩展数据集和潜在空间维度，使得学习到的Koopman动态模型能够逐渐逼近真实的系统动力学。与传统的Koopman算子学习方法相比，该方法能够更好地处理高维度和非线性动力学系统，并且具有更强的泛化能力和鲁棒性。

关键设计：论文中关键的设计包括：1) 潜在空间维度的扩展策略：论文提出了一种基于模型性能的潜在空间维度扩展策略，能够有效地提高模型的表达能力。2) 损失函数的设计：论文设计了一种能够同时考虑模型精度和控制性能的损失函数，使得学习到的Koopman动态模型能够更好地用于运动控制。3) 线性MPC控制器的设计：论文设计了一种简单的线性MPC控制器，能够有效地利用学习到的Koopman动态模型，实现对机器人的运动控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Unitree G1/H1/A1/Go2和ANYmal D等机器人上，使用简单的线性MPC控制器，在各种地形上实现了高性能控制。具体而言，该方法能够使机器人在复杂地形上稳定行走，并且具有较好的抗干扰能力。与传统的控制方法相比，该方法能够显著提高机器人的运动性能。

🎯 应用场景

该研究成果可广泛应用于腿式机器人的运动控制领域，例如人形机器人、四足机器人等。通过学习机器人的动力学模型，可以实现更精确、更稳定的运动控制，提高机器人的运动性能和适应性。此外，该方法还可以应用于其他非线性系统的建模和控制，例如无人机、自动驾驶汽车等。

📄 摘要（原文）

The control of legged robots, particularly humanoid and quadruped robots, presents significant challenges due to their high-dimensional and nonlinear dynamics. While linear systems can be effectively controlled using methods like Model Predictive Control (MPC), the control of nonlinear systems remains complex. One promising solution is the Koopman Operator, which approximates nonlinear dynamics with a linear model, enabling the use of proven linear control techniques. However, achieving accurate linearization through data-driven methods is difficult due to issues like approximation error, domain shifts, and the limitations of fixed linear state-space representations. These challenges restrict the scalability of Koopman-based approaches. This paper addresses these challenges by proposing a continual learning algorithm designed to iteratively refine Koopman dynamics for high-dimensional legged robots. The key idea is to progressively expand the dataset and latent space dimension, enabling the learned Koopman dynamics to converge towards accurate approximations of the true system dynamics. Theoretical analysis shows that the linear approximation error of our method converges monotonically. Experimental results demonstrate that our method achieves high control performance on robots like Unitree G1/H1/A1/Go2 and ANYmal D, across various terrains using simple linear MPC controllers. This work is the first to successfully apply linearized Koopman dynamics for locomotion control of high-dimensional legged robots, enabling a scalable model-based control solution.