Efficient Learning-Based Control of a Legged Robot in Lunar Gravity
作者: Philip Arm, Oliver Fischer, Joseph Church, Adrian Fuhrer, Hendrik Kolvenbach, Marco Hutter
分类: cs.RO, cs.AI
发布日期: 2025-09-12 (更新: 2025-11-14)
💡 一句话要点
提出基于强化学习的腿式机器人重力自适应控制方法，优化月球等低重力环境下的能耗。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 腿式机器人 强化学习 重力自适应控制 能量优化 行星探测
📋 核心要点
- 行星探索任务对腿式机器人的能耗有严格限制，现有控制方法难以兼顾多重力环境下的能量效率和适应性。
- 论文提出基于强化学习的控制方法，通过重力缩放的功率优化奖励函数，实现跨重力环境的控制策略迁移。
- 实验表明，该方法在地球和月球重力下均能有效降低能耗，相比基线策略分别提升23%和36%。
📝 摘要（中文）
腿式机器人因其在非结构化地形上的卓越移动能力，成为探索月球、火星或小行星等低重力天体的理想选择。然而，行星机器人的功率和热预算受到严格限制，因此需要能够轻松适应多种重力环境的节能控制方法。本文提出了一种基于强化学习的腿式机器人控制方法，该方法采用重力缩放的功率优化奖励函数。我们使用该方法开发并验证了在月球重力（1.62 m/s2）到假想的超级地球（19.62 m/s2）等多种重力环境下的运动控制器和基座姿态控制器。我们的方法成功地在这些重力水平上实现了运动和基座姿态控制的缩放，并使用了重力缩放的奖励函数。在地球重力下，功率优化的运动控制器在15.65公斤的机器人上以0.4米/秒的速度运行时，功耗达到了23.4瓦，比基线策略提高了23%。此外，我们设计了一个恒力弹簧卸载系统，使我们能够在月球重力下进行腿式运动的真实世界实验。在月球重力下，功率优化控制策略达到了12.2瓦，比未针对功率效率优化的基线控制器低36%。我们的方法为开发适用于多种重力水平下腿式机器人的节能运动控制器提供了一种可扩展的方法。
🔬 方法详解
问题定义：论文旨在解决腿式机器人在不同重力环境下运动控制的能耗问题。现有的控制方法，例如传统的PID控制或基于模型的控制，通常需要针对特定重力环境进行手动调整或重新设计，难以适应不同重力环境下的能量效率需求。此外，在低重力环境下进行实验验证也存在挑战，需要特殊的卸载系统。
核心思路：论文的核心思路是利用强化学习训练一个能够适应不同重力环境的控制策略。通过设计一个重力缩放的功率优化奖励函数，引导智能体学习在不同重力下都能高效运动的策略。这种方法避免了手动调整控制参数的繁琐过程，并能够自动优化能量效率。
技术框架：整体框架包括以下几个主要部分：1) 强化学习环境的构建，模拟不同重力环境下的机器人运动；2) 奖励函数的设计，包含运动速度、姿态稳定性和功率消耗等因素，并进行重力缩放；3) 强化学习算法的选择，用于训练控制策略；4) 实验验证，包括仿真和真实环境下的测试。具体流程是：首先在仿真环境中训练智能体，然后将训练好的策略部署到真实的腿式机器人上进行测试。
关键创新：最重要的技术创新点在于重力缩放的功率优化奖励函数。传统的奖励函数通常只考虑运动速度和姿态稳定性，而忽略了能量消耗。论文提出的奖励函数将能量消耗纳入考虑，并根据重力大小进行缩放，使得智能体能够学习在不同重力下都能高效运动的策略。这种方法能够有效地降低机器人的能耗，并提高其在不同重力环境下的适应性。
关键设计：奖励函数的设计是关键。论文中，奖励函数包含以下几个部分：运动速度奖励、姿态稳定奖励和功率消耗惩罚。功率消耗惩罚项根据重力大小进行缩放，具体形式为：reward = w_v * v + w_p * p + w_e * E，其中v是运动速度，p是姿态稳定性，E是功率消耗，w_v、w_p和w_e是权重。通过调整这些权重，可以控制智能体对不同目标的重视程度。此外，论文还设计了一个恒力弹簧卸载系统，用于模拟月球重力环境下的实验。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在地球重力下，功率优化的运动控制器在15.65公斤的机器人上以0.4米/秒的速度运行时，功耗达到了23.4瓦，比基线策略提高了23%。在月球重力下，功率优化控制策略达到了12.2瓦，比未针对功率效率优化的基线控制器低36%。这些数据验证了该方法在降低能耗方面的有效性。
🎯 应用场景
该研究成果可应用于月球、火星等低重力环境下的行星探测任务，以及其他需要节能和高适应性的机器人应用场景，例如灾后搜救、复杂地形勘探等。通过优化机器人的能量效率，可以延长其工作时间，提高任务完成的成功率，并降低任务成本。未来，该方法有望推广到更多类型的机器人和更复杂的环境。
📄 摘要（原文）
Legged robots are promising candidates for exploring challenging areas on low-gravity bodies such as the Moon, Mars, or asteroids, thanks to their advanced mobility on unstructured terrain. However, as planetary robots' power and thermal budgets are highly restricted, these robots need energy-efficient control approaches that easily transfer to multiple gravity environments. In this work, we introduce a reinforcement learning-based control approach for legged robots with gravity-scaled power-optimized reward functions. We use our approach to develop and validate a locomotion controller and a base pose controller in gravity environments from lunar gravity (1.62 m/s2) to a hypothetical super-Earth (19.62 m/s2). Our approach successfully scales across these gravity levels for locomotion and base pose control with the gravity-scaled reward functions. The power-optimized locomotion controller reached a power consumption for locomotion of 23.4 W in Earth gravity on a 15.65 kg robot at 0.4 m/s, a 23 % improvement over the baseline policy. Additionally, we designed a constant-force spring offload system that allowed us to conduct real-world experiments on legged locomotion in lunar gravity. In lunar gravity, the power-optimized control policy reached 12.2 W, 36 % less than a baseline controller which is not optimized for power efficiency. Our method provides a scalable approach to developing power-efficient locomotion controllers for legged robots across multiple gravity levels.