HiLMa-Res: A General Hierarchical Framework via Residual RL for Combining Quadrupedal Locomotion and Manipulation

📄 arXiv: 2407.06584v1 📥 PDF

作者: Xiaoyu Huang, Qiayuan Liao, Yiming Ni, Zhongyu Li, Laura Smith, Sergey Levine, Xue Bin Peng, Koushil Sreenath

分类: cs.RO

发布日期: 2024-07-09

备注: IROS 2024

💡 一句话要点

HiLMa-Res：基于残差强化学习的通用四足机器人运动与操作分层框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 四足机器人 运动操作 强化学习 分层控制 残差学习

📋 核心要点

  1. 现有四足机器人运动操作方法通常针对特定任务设计，缺乏通用性和灵活性，难以适应复杂多变的环境。
  2. HiLMa-Res采用分层强化学习框架，将运动控制和操作规划解耦，通过残差学习提升策略的泛化能力。
  3. 实验结果表明，HiLMa-Res在多种真实世界的运动操作任务中表现优异，超越了其他基线方法，验证了其有效性。

📝 摘要（中文）

本文提出了HiLMa-Res，一个利用强化学习解决四足机器人连续运动和操作任务的分层框架。与以往专注于特定任务的方法不同，HiLMa-Res旨在通用化解决各种需要四足机器人保持持续移动性的运动操作任务。该框架的新颖设计解决了整合连续运动控制和腿部操作的挑战。它开发了一种操作空间运动控制器，可以在不同速度行走时跟踪任意机器人末端执行器（脚趾）轨迹。该控制器被设计为对不同的下游任务通用，因此可以在高层操作规划策略中用于解决特定任务。为了展示该框架的多功能性，我们使用HiLMa-Res在现实世界中使用四足机器人解决了几个具有挑战性的运动操作任务。这些任务涵盖了从基于状态的策略到基于视觉的策略，从纯粹从仿真数据中训练到从真实世界数据中学习。在这些任务中，HiLMa-Res显示出比其他方法更好的性能。

🔬 方法详解

问题定义：现有四足机器人运动操作方法通常针对特定任务进行优化，缺乏通用性，难以适应不同的任务需求和环境变化。同时，将连续运动控制和腿部操作有效结合仍然是一个挑战，需要平衡运动的稳定性和操作的精确性。

核心思路：HiLMa-Res的核心思路是将运动控制和操作规划解耦，采用分层强化学习框架。底层运动控制器负责机器人的稳定运动，并提供操作空间控制接口，允许高层策略控制末端执行器的轨迹。高层策略则专注于任务规划，利用底层控制器实现具体的运动操作。这种解耦设计提高了框架的通用性和灵活性。

技术框架：HiLMa-Res框架包含两个主要模块：底层操作空间运动控制器和高层操作规划策略。底层控制器基于强化学习训练，能够跟踪任意末端执行器轨迹，并保证机器人的稳定运动。高层策略也基于强化学习训练，利用底层控制器提供的接口，规划机器人的运动操作序列，完成特定任务。框架采用残差强化学习，允许高层策略在底层控制器的基础上进行微调，进一步提升性能。

关键创新：HiLMa-Res的关键创新在于其通用的分层框架设计和操作空间运动控制器的实现。该框架能够解耦运动控制和操作规划，使得高层策略可以专注于任务规划，而无需关心底层的运动细节。操作空间运动控制器则提供了灵活的末端执行器控制接口，允许高层策略实现各种复杂的运动操作。

关键设计：底层运动控制器采用强化学习算法（具体算法未知）进行训练，目标是跟踪给定的末端执行器轨迹，并保持机器人的稳定运动。损失函数可能包含跟踪误差、稳定性惩罚项等。高层策略也采用强化学习算法（具体算法未知）进行训练，目标是完成特定任务。奖励函数根据任务目标进行设计，例如，到达目标位置、抓取物体等。残差强化学习允许高层策略在底层控制器的基础上进行微调，通过学习残差策略来提升性能。

🖼️ 关键图片

img_0

📊 实验亮点

HiLMa-Res在多个真实世界的运动操作任务中进行了验证，包括状态感知的策略和视觉感知的策略，以及从仿真数据和真实数据中学习。实验结果表明，HiLMa-Res在这些任务中均优于其他基线方法，展示了其优越的性能和泛化能力。具体的性能提升数据未知，但摘要中明确指出HiLMa-Res表现更好。

🎯 应用场景

HiLMa-Res具有广泛的应用前景，可用于物流、仓储、搜救等领域。例如，在物流领域，四足机器人可以利用HiLMa-Res框架实现自主搬运货物；在搜救领域，四足机器人可以利用该框架在复杂地形中进行搜索和救援任务。该研究为四足机器人在复杂环境下的自主操作提供了新的解决方案。

📄 摘要（原文）

This work presents HiLMa-Res, a hierarchical framework leveraging reinforcement learning to tackle manipulation tasks while performing continuous locomotion using quadrupedal robots. Unlike most previous efforts that focus on solving a specific task, HiLMa-Res is designed to be general for various loco-manipulation tasks that require quadrupedal robots to maintain sustained mobility. The novel design of this framework tackles the challenges of integrating continuous locomotion control and manipulation using legs. It develops an operational space locomotion controller that can track arbitrary robot end-effector (toe) trajectories while walking at different velocities. This controller is designed to be general to different downstream tasks, and therefore, can be utilized in high-level manipulation planning policy to address specific tasks. To demonstrate the versatility of this framework, we utilize HiLMa-Res to tackle several challenging loco-manipulation tasks using a quadrupedal robot in the real world. These tasks span from leveraging state-based policy to vision-based policy, from training purely from the simulation data to learning from real-world data. In these tasks, HiLMa-Res shows better performance than other methods.