Learning Robust Autonomous Navigation and Locomotion for Wheeled-Legged Robots
作者: Joonho Lee, Marko Bjelonic, Alexander Reske, Lorenz Wellhausen, Takahiro Miki, Marco Hutter
分类: cs.RO, cs.LG, eess.SY
发布日期: 2024-05-03
期刊: Science Robotics, 2024, Vol 9, Issue 89
DOI: 10.1126/scirobotics.adi9641
💡 一句话要点
提出基于强化学习的轮腿机器人自主导航与运动控制系统，提升复杂环境适应性。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 轮腿机器人 自主导航 强化学习 分层控制 运动控制
📋 核心要点
- 现有轮腿机器人在复杂城市环境中导航面临地形多变和动态障碍物等挑战，需要更强的适应性和鲁棒性。
- 论文提出一种分层强化学习框架，将运动控制和导航规划紧密结合，实现轮腿机器人在复杂环境中的高效自主导航。
- 通过在苏黎世和塞维利亚的实际城市环境中进行公里级导航测试，验证了所提出系统的鲁棒性和适应性。
📝 摘要（中文）
本文提出了一种用于轮腿机器人自主导航和运动控制的完整系统，旨在提升城市环境中物流系统的效率和适应性。城市环境对机器人导航提出了独特挑战，需要创新的运动和导航解决方案。该系统集成了自适应运动控制、感知移动性的局部导航规划以及大规模路径规划。利用无模型的强化学习技术和特权学习，开发了一个通用的运动控制器，该控制器能够在各种粗糙地形上实现高效且鲁棒的运动，并在行走和驾驶模式之间平稳过渡。通过分层强化学习框架，该控制器与学习的导航控制器紧密集成，从而能够高速有效地导航复杂地形和各种障碍物。该控制器已集成到大规模城市导航系统中，并通过在瑞士苏黎世和西班牙塞维利亚进行的自主、公里级导航任务进行了验证。这些任务展示了系统的鲁棒性和适应性，突出了集成控制系统在实现复杂环境中无缝导航的重要性。研究结果支持了轮腿机器人和分层强化学习在自主导航中的可行性，对最后一公里交付及其他领域具有重要意义。
🔬 方法详解
问题定义：论文旨在解决轮腿机器人在复杂城市环境中自主导航的问题。现有方法在面对多变地形和动态障碍物时，难以实现高效、鲁棒的运动控制和导航规划。痛点在于缺乏能够同时适应不同地形和有效避开动态障碍物的集成控制系统。
核心思路：论文的核心思路是利用分层强化学习，将运动控制和导航规划解耦并紧密结合。底层强化学习控制器负责在各种地形上实现鲁棒的运动，上层强化学习控制器则负责在考虑机器人运动能力的情况下进行导航规划。这种分层结构允许系统在复杂环境中进行高效的自主导航。
技术框架：整体框架包含三个主要模块：自适应运动控制、感知移动性的局部导航规划和大规模路径规划。首先，利用无模型的强化学习训练一个运动控制器，使其能够在不同地形上实现高效运动，并平稳切换行走和驾驶模式。然后，通过分层强化学习，将运动控制器与导航控制器集成，实现对复杂地形和动态障碍物的有效导航。最后，将这些控制器集成到大规模城市导航系统中。
关键创新：论文的关键创新在于将运动控制和导航规划集成到一个分层强化学习框架中。这种集成允许系统在考虑机器人运动能力的情况下进行导航规划，从而提高了导航效率和鲁棒性。此外，使用无模型的强化学习和特权学习来训练运动控制器，使其能够适应各种地形。
关键设计：运动控制器使用深度神经网络作为策略函数，输入包括机器人的状态（例如，位置、速度、姿态）和地形信息。损失函数包括奖励函数，用于鼓励机器人保持期望的速度和姿态，并惩罚过度的能量消耗和碰撞。导航控制器也使用深度神经网络，输入包括机器人的状态、目标位置和周围环境信息。分层强化学习框架通过将导航控制器的动作空间限制为运动控制器可实现的运动，实现了运动控制和导航规划的紧密集成。
🖼️ 关键图片
📊 实验亮点
该系统在瑞士苏黎世和西班牙塞维利亚的实际城市环境中进行了公里级导航测试，验证了其鲁棒性和适应性。实验结果表明，该系统能够成功地在各种复杂地形和动态障碍物中进行自主导航，证明了分层强化学习在轮腿机器人自主导航中的可行性。虽然论文中没有给出具体的性能数据，但强调了系统在真实环境中的成功部署。
🎯 应用场景
该研究成果可应用于最后一公里配送、城市物流、安防巡逻、以及灾害救援等领域。轮腿机器人的自主导航能力能够显著提升这些应用场景的效率和适应性，尤其是在复杂和动态的环境中。未来，该技术有望推动机器人技术在城市服务领域的广泛应用。
📄 摘要（原文）
Autonomous wheeled-legged robots have the potential to transform logistics systems, improving operational efficiency and adaptability in urban environments. Navigating urban environments, however, poses unique challenges for robots, necessitating innovative solutions for locomotion and navigation. These challenges include the need for adaptive locomotion across varied terrains and the ability to navigate efficiently around complex dynamic obstacles. This work introduces a fully integrated system comprising adaptive locomotion control, mobility-aware local navigation planning, and large-scale path planning within the city. Using model-free reinforcement learning (RL) techniques and privileged learning, we develop a versatile locomotion controller. This controller achieves efficient and robust locomotion over various rough terrains, facilitated by smooth transitions between walking and driving modes. It is tightly integrated with a learned navigation controller through a hierarchical RL framework, enabling effective navigation through challenging terrain and various obstacles at high speed. Our controllers are integrated into a large-scale urban navigation system and validated by autonomous, kilometer-scale navigation missions conducted in Zurich, Switzerland, and Seville, Spain. These missions demonstrate the system's robustness and adaptability, underscoring the importance of integrated control systems in achieving seamless navigation in complex environments. Our findings support the feasibility of wheeled-legged robots and hierarchical RL for autonomous navigation, with implications for last-mile delivery and beyond.