Robust Reinforcement Learning-Based Locomotion for Resource-Constrained Quadrupeds with Exteroceptive Sensing

📄 arXiv: 2505.12537v1 📥 PDF

作者: Davide Plozza, Patricia Apostol, Paul Joseph, Simon Schläpfer, Michele Magno

分类: cs.RO, eess.SY

发布日期: 2025-05-18

备注: This paper has been accepted for publication at the IEEE International Conference on Robotics and Automation (ICRA), Atlanta 2025. The code is available at github.com/ETH-PBL/elmap-rl-controller

💡 一句话要点

针对资源受限四足机器人，提出基于外感知的鲁棒强化学习运动控制方法。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 四足机器人 强化学习 外感知 地形感知 运动控制 状态估计 资源受限

📋 核心要点

  1. 小型四足机器人易于集成到人类环境中，但在崎岖地形上的实时运动控制仍然具有挑战性，尤其是在地形感知方面。
  2. 论文提出了一种基于强化学习的运动控制器，该控制器利用实时高程图，并结合深度传感器，从而实现鲁棒的外感知运动控制。
  3. 实验结果表明，该控制器在复杂地形上表现出色，能够成功通过较高台阶，并实现精确的速度跟踪，即使在没有VIO的情况下也能保持鲁棒性。

📝 摘要（中文）

本文提出了一种基于强化学习的鲁棒外感知的运动控制器，用于资源受限的小型四足机器人，使其能够在复杂地形上运动。该方法利用实时高程图，并通过精心选择的深度传感器提供支持。我们同时训练策略和状态估计器，它们共同为高程图提供里程计信息，并可选择性地与视觉惯性里程计（VIO）融合。实验证明，即使没有VIO，额外的时间飞行传感器对于保持鲁棒性至关重要，从而有可能释放计算资源。实验结果表明，所提出的控制器能够完美地通过高达17.5厘米的台阶，并在22.5厘米的台阶上达到80%的成功率，无论是否使用VIO。该控制器还能实现高达1.0米/秒的前向速度和1.5弧度/秒的偏航速度的精确跟踪。我们的训练代码已开源。

🔬 方法详解

问题定义：现有方法在资源受限的四足机器人上，难以实现复杂地形下的鲁棒运动控制。地形感知计算量大，依赖视觉惯性里程计（VIO）可能导致计算瓶颈，且VIO在光照不足或纹理缺失的环境中表现不佳。因此，如何在计算资源有限的情况下，实现对复杂地形的鲁棒感知和运动控制是一个关键问题。

核心思路：论文的核心思路是同时训练一个运动策略和一个状态估计器，状态估计器用于构建实时高程图，为运动策略提供地形信息。通过强化学习，策略能够学习利用高程图进行运动规划，从而在复杂地形上实现鲁棒的运动控制。此外，通过增加时间飞行（ToF）传感器，可以在没有VIO的情况下保持鲁棒性，从而降低对计算资源的需求。

技术框架：整体框架包含三个主要模块：深度传感器、状态估计器和运动控制器。深度传感器负责采集环境深度信息，状态估计器利用深度信息构建高程图，并提供机器人位姿估计。运动控制器基于高程图和期望速度，生成关节控制指令，驱动机器人运动。状态估计器和运动控制器通过强化学习联合训练，以优化整体性能。

关键创新：论文的关键创新在于同时训练状态估计器和运动控制器，使得它们能够协同工作，共同优化机器人的运动性能。此外，通过增加ToF传感器，可以在没有VIO的情况下保持鲁棒性，从而降低了对计算资源的需求，使得该方法更适用于资源受限的四足机器人。

关键设计：状态估计器使用深度信息和可选的VIO数据进行位姿估计，并构建高程图。高程图的分辨率和范围是关键参数，需要根据实际应用场景进行调整。运动控制器使用深度强化学习算法（具体算法未知）进行训练，奖励函数的设计至关重要，需要考虑前进速度、姿态稳定性和能量消耗等因素。ToF传感器的选择需要考虑其测量范围、精度和功耗。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该控制器能够完美地通过高达17.5厘米的台阶，并在22.5厘米的台阶上达到80%的成功率，无论是否使用VIO。此外，该控制器还能实现高达1.0米/秒的前向速度和1.5弧度/秒的偏航速度的精确跟踪。这些结果表明，该方法在复杂地形上具有良好的鲁棒性和运动性能。

🎯 应用场景

该研究成果可应用于搜索救援、灾后评估、工业巡检等领域。资源受限的四足机器人能够在复杂和危险的环境中执行任务，例如在倒塌的建筑物中搜寻幸存者，或在工业环境中进行设备巡检。该方法降低了对计算资源的需求，使得小型四足机器人能够在更广泛的应用场景中部署。

📄 摘要（原文）

Compact quadrupedal robots are proving increasingly suitable for deployment in real-world scenarios. Their smaller size fosters easy integration into human environments. Nevertheless, real-time locomotion on uneven terrains remains challenging, particularly due to the high computational demands of terrain perception. This paper presents a robust reinforcement learning-based exteroceptive locomotion controller for resource-constrained small-scale quadrupeds in challenging terrains, which exploits real-time elevation mapping, supported by a careful depth sensor selection. We concurrently train both a policy and a state estimator, which together provide an odometry source for elevation mapping, optionally fused with visual-inertial odometry (VIO). We demonstrate the importance of positioning an additional time-of-flight sensor for maintaining robustness even without VIO, thus having the potential to free up computational resources. We experimentally demonstrate that the proposed controller can flawlessly traverse steps up to 17.5 cm in height and achieve an 80% success rate on 22.5 cm steps, both with and without VIO. The proposed controller also achieves accurate forward and yaw velocity tracking of up to 1.0 m/s and 1.5 rad/s respectively. We open-source our training code at github.com/ETH-PBL/elmap-rl-controller.