Integrating Trajectory Optimization and Reinforcement Learning for Quadrupedal Jumping with Terrain-Adaptive Landing
作者: Renjie Wang, Shangke Lyu, Xin Lang, Wei Xiao, Donglin Wang
分类: cs.RO
发布日期: 2025-09-16
备注: Accepted by IROS 2025
💡 一句话要点
提出结合轨迹优化与强化学习的四足机器人跳跃框架，实现地形自适应着陆
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 四足机器人 跳跃运动 轨迹优化 强化学习 自适应着陆 粗糙地形 机器人控制
📋 核心要点
- 现有四足机器人跳跃研究多假设平坦着陆面，忽略了真实世界中复杂地形的挑战。
- 该论文结合轨迹优化生成参考轨迹，并使用强化学习训练智能体跟踪轨迹，实现粗糙地形上的自适应着陆。
- 实验验证了该方法在不同地形下的精确跟踪和安全着陆能力，证明了其有效性。
📝 摘要（中文）
跳跃是四足机器人运动能力的重要组成部分，包括动态起跳和自适应着陆。现有的四足跳跃研究主要集中在站立和飞行阶段，假设着陆地面是平坦的，这在许多实际情况下是不切实际的。本文提出了一种安全着陆框架，通过结合轨迹优化（TO）和强化学习（RL），实现了在粗糙地形上的自适应着陆。强化学习智能体学习跟踪由轨迹优化生成的参考运动，从而适应粗糙地形环境。为了能够在具有挑战性的地形上学习顺应性着陆技能，设计了一种奖励松弛策略，以鼓励在着陆恢复期间的探索。大量的实验验证了我们提出的方法在各种场景中实现的精确跟踪和安全着陆技能。
🔬 方法详解
问题定义：现有的四足机器人跳跃研究通常假设着陆地面是平坦的，这与现实世界的复杂地形不符。因此，如何在粗糙地形上实现四足机器人的安全和自适应着陆是一个关键问题。现有方法难以在复杂地形下保证着陆的稳定性和安全性。
核心思路：该论文的核心思路是将轨迹优化（TO）和强化学习（RL）相结合。轨迹优化用于生成理想的参考运动轨迹，而强化学习则用于训练智能体跟踪该轨迹，并适应粗糙地形带来的扰动。通过这种方式，机器人可以在保证运动性能的同时，实现对复杂地形的自适应。
技术框架：该框架主要包含两个模块：轨迹优化模块和强化学习模块。首先，轨迹优化模块根据机器人和环境的参数，生成一条理想的跳跃轨迹。然后，强化学习模块训练一个智能体，使其能够跟踪该轨迹，并在着陆时进行自适应调整，以应对粗糙地形。整个流程可以概括为：轨迹优化生成参考轨迹 -> 强化学习智能体跟踪参考轨迹 -> 粗糙地形自适应着陆。
关键创新：该论文的关键创新在于将轨迹优化和强化学习相结合，并提出了一种奖励松弛策略。轨迹优化提供了全局的运动规划，而强化学习则提供了局部的自适应能力。奖励松弛策略鼓励智能体在着陆恢复期间进行探索，从而提高其在复杂地形下的鲁棒性。这种结合使得机器人能够在粗糙地形上实现安全和自适应的着陆。
关键设计：奖励松弛策略是关键设计之一，它在着陆恢复期间放松了对某些奖励项的限制，例如对姿态的惩罚。这允许智能体在着陆时进行更大的调整，从而更容易从不稳定的状态中恢复。具体的网络结构和损失函数细节在论文中应该有更详细的描述，但摘要中未提及。
📊 实验亮点
该论文通过大量实验验证了所提出方法的有效性。实验结果表明，该方法能够使四足机器人在各种粗糙地形上实现精确的轨迹跟踪和安全着陆。具体的性能数据和对比基线需要在论文中查找，摘要中未提供具体的量化指标。
🎯 应用场景
该研究成果可应用于搜救机器人、地形勘探机器人、农业机器人等领域。这些机器人需要在复杂和未知的地形中进行运动，而该研究提供的自适应着陆能力可以显著提高其运动效率和安全性。未来，该技术还可以扩展到其他类型的机器人，例如人形机器人和轮式机器人。
📄 摘要（原文）
Jumping constitutes an essential component of quadruped robots' locomotion capabilities, which includes dynamic take-off and adaptive landing. Existing quadrupedal jumping studies mainly focused on the stance and flight phase by assuming a flat landing ground, which is impractical in many real world cases. This work proposes a safe landing framework that achieves adaptive landing on rough terrains by combining Trajectory Optimization (TO) and Reinforcement Learning (RL) together. The RL agent learns to track the reference motion generated by TO in the environments with rough terrains. To enable the learning of compliant landing skills on challenging terrains, a reward relaxation strategy is synthesized to encourage exploration during landing recovery period. Extensive experiments validate the accurate tracking and safe landing skills benefiting from our proposed method in various scenarios.