End-to-End Reinforcement Learning for Quadrupedal Jumping in Lunar Gravity
作者: Levin Müller, Oliver Fischer, Marco Trentini, Yusuke Tanaka, Marco Hutter
分类: cs.RO
发布日期: 2026-10-21
💡 一句话要点
提出多阶段强化学习方法以实现月球重力下的四足跳跃
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 四足机器人 强化学习 月球探测 跳跃控制 机器人运动 深度学习
📋 核心要点
- 现有的腿式机器人在月球重力环境中面临跳跃控制策略的缺乏，限制了其在复杂地形中的机动性。
- 本文提出了一种多阶段强化学习方法，生成一个简单的端到端控制策略，专门用于月球重力下的点对点跳跃。
- 实验结果表明，学习到的策略在仿真中实现了高精度的跳跃，着陆误差小于机器人体型，并成功在硬件上执行跳跃。
📝 摘要（中文）
腿式机器人能够在崎岖和不连续的地形中进行行星探索，而在月球重力下，跳跃进一步扩展了这种机动性，使机器人能够跨越无法单靠行走的障碍和间隙。本文提出了一种多阶段强化学习方法，生成一个端到端的控制策略，用于在月球重力下进行命令的点对点跳跃。该策略架构简单，完全依赖于与任务兼容的机载传感器，使其在实际月球任务中的部署成为可能。在仿真中，学习到的策略能够准确进行点对点跳跃，着陆误差小于机器人的体型。我们分析了月球跳跃的扭矩和功率需求，并表征了在极端异常事件下的性能退化，包括飞行中长达1秒的控制更新冻结。硬件转移实验表明，该策略能够成功执行在月球重力下的垂直跳跃，测得的扭矩和功率特征与仿真结果一致，且保持在机器人的硬件限制内。
🔬 方法详解
问题定义：本文旨在解决腿式机器人在月球重力环境下的跳跃控制问题，现有方法在复杂地形中的适应性不足，无法有效应对障碍物和间隙。
核心思路：提出一种多阶段强化学习方法，通过训练生成一个端到端的控制策略，能够在月球重力下实现精确的点对点跳跃，简化了控制架构并提高了任务兼容性。
技术框架：整体架构包括多个阶段，首先通过强化学习训练生成控制策略，然后在仿真环境中进行验证，最后在硬件上进行转移实验。主要模块包括状态感知、动作选择和反馈调整。
关键创新：最重要的技术创新在于提出了一个简单而有效的控制策略，能够在月球重力下实现高精度跳跃，与现有方法相比，显著提高了机器人的适应性和可靠性。
关键设计：在参数设置上，采用了适应性的学习率和损失函数，网络结构设计为深度神经网络，能够处理复杂的状态输入并输出控制指令。
🖼️ 关键图片
📊 实验亮点
实验结果显示，学习到的控制策略在仿真中实现了小于机器人体型的着陆误差，并在硬件转移实验中成功执行了垂直跳跃，验证了策略的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括月球探测、行星探索和极端环境下的机器人操作。通过提升腿式机器人的跳跃能力，可以有效拓展其在复杂地形中的应用，推动未来的空间探索任务。
📄 摘要（原文）
Legged robots can extend planetary exploration to rugged and discontinuous terrain that is inaccessible to conventional rovers. In lunar gravity, jumping further expands this mobility by enabling robots to cross obstacles and gaps that cannot be traversed by walking alone. We present a multistage reinforcement-learning approach that produces a single end-to-end control policy for commanded point-to-point jumping under lunar gravity. The resulting policy has a simple architecture and relies exclusively on mission-compatible onboard sensing, making its deployment on a real lunar mission plausible. In simulation, the learned policy performs accurate point-to-point jumps with landing errors smaller than the robot's body size. We analyze the torque and power demands of lunar jumping and characterize performance degradation under extreme outlier events, including control-update freezes of up to \SI{1}{s} during flight. Hardware transfer demonstrates that the policy can successfully execute a vertical jump under lunar-gravity offloading. Furthermore, the measured torque and power profiles are consistent with the simulation results and remain within the robot's hardware limits.