McARL:Morphology-Control-Aware Reinforcement Learning for Generalizable Quadrupedal Locomotion

📄 arXiv: 2505.18418v1 📥 PDF

作者: Prakhar Mishra, Amir Hossain Raj, Xuesu Xiao, Dinesh Manocha

分类: cs.RO

发布日期: 2025-05-23

💡 一句话要点

McARL：基于形态控制的强化学习，实现四足机器人通用运动控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 四足机器人 强化学习 形态控制 通用运动控制 零样本迁移

📋 核心要点

  1. 现有强化学习方法在四足机器人运动控制中，难以泛化到不同形态的机器人，需要大量针对特定机器人的超参数调优。
  2. McARL的核心思想是将机器人的形态信息融入强化学习策略中，通过形态条件策略学习通用的运动控制参数。
  3. 实验结果表明，McARL训练的策略能够零样本迁移到不同形态的机器人，并在速度和泛化性上显著优于传统PPO方法。

📝 摘要（中文）

本文提出了一种形态控制感知的强化学习方法(McARL)，旨在克服超参数调优和迁移损失的挑战，从而实现跨机器人形态的通用运动控制。McARL使用一种形态条件策略，通过将从定义的形态范围中随机采样的形态向量整合到actor和critic网络中。这使得策略能够学习适用于具有相似特征的机器人的参数。实验表明，使用McARL在Unitree Go1机器人上训练的单个策略可以迁移到不同的形态（例如，Unitree Go2机器人），并且无需重新训练或微调即可实现高达3.5米/秒的零样本迁移速度。此外，该策略在训练机器人Go1上实现了6.0米/秒的速度，并推广到其他形态，如A1和Mini Cheetah。我们还分析了形态距离对迁移性能的影响，并强调了McARL相对于先前方法的优势。与PPO变体相比，McARL在Go2、Mini Cheetah和A1上的迁移性能提高了44-150%。

🔬 方法详解

问题定义：现有强化学习方法在四足机器人运动控制中，泛化能力不足，难以直接应用于不同形态的机器人。针对特定机器人训练的策略，在其他机器人上表现往往不佳，需要耗时的重新训练和参数调整。这限制了强化学习在机器人领域的广泛应用。

核心思路：McARL的核心思路是使强化学习策略能够感知机器人的形态信息。通过将机器人的形态参数作为策略网络的输入，使策略能够学习到与形态相关的运动控制规律。这样，即使在训练过程中只使用一种或几种机器人形态，训练得到的策略也能够泛化到其他形态的机器人上。

技术框架：McARL的整体框架基于Actor-Critic强化学习算法。其主要模块包括：1) 环境模型：模拟不同形态的四足机器人；2) Actor网络：根据当前状态和形态向量，输出动作；3) Critic网络：评估当前状态和动作的价值；4) 形态向量采样器：从预定义的形态空间中随机采样形态向量。训练过程中，Actor和Critic网络同时更新，以最大化累积奖励。

关键创新：McARL的关键创新在于引入了形态条件策略。具体来说，是将一个随机化的形态向量（morphology vector）作为actor和critic网络的输入。这个形态向量描述了机器人的关键形态参数，例如腿长、身体尺寸等。通过在训练过程中随机改变形态向量，策略能够学习到与形态无关的通用运动控制规律。

关键设计：McARL的关键设计包括：1) 形态向量的定义：需要选择能够有效描述机器人形态的关键参数；2) 形态空间的范围：需要根据实际应用场景，合理设置形态参数的上下限；3) Actor和Critic网络的结构：需要选择合适的网络结构，以便能够有效地处理形态向量输入；4) 奖励函数的设计：需要设计能够鼓励机器人快速、稳定运动的奖励函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

McARL在Unitree Go1机器人上训练的单个策略，可以零样本迁移到Unitree Go2、A1和Mini Cheetah等不同形态的机器人上，无需重新训练或微调。在Go2机器人上，McARL的迁移速度达到3.5米/秒，相比PPO变体提升了44-150%。在训练机器人Go1上，McARL实现了6.0米/秒的速度。

🎯 应用场景

McARL具有广泛的应用前景，可用于快速开发和部署各种四足机器人的运动控制策略。例如，在搜救、巡检、物流等领域，可以利用McARL训练通用的运动控制策略，快速适应不同型号的机器人，降低开发成本和时间。此外，McARL还可以用于机器人设计，通过评估不同形态参数对运动性能的影响，优化机器人结构。

📄 摘要（原文）

We present Morphology-Control-Aware Reinforcement Learning (McARL), a new approach to overcome challenges of hyperparameter tuning and transfer loss, enabling generalizable locomotion across robot morphologies. We use a morphology-conditioned policy by incorporating a randomized morphology vector, sampled from a defined morphology range, into both the actor and critic networks. This allows the policy to learn parameters that generalize to robots with similar characteristics. We demonstrate that a single policy trained on a Unitree Go1 robot using McARL can be transferred to a different morphology (e.g., Unitree Go2 robot) and can achieve zero-shot transfer velocity of up to 3.5 m/s without retraining or fine-tuning. Moreover, it achieves 6.0 m/s on the training Go1 robot and generalizes to other morphologies like A1 and Mini Cheetah. We also analyze the impact of morphology distance on transfer performance and highlight McARL's advantages over prior approaches. McARL achieves 44-150% higher transfer performance on Go2, Mini Cheetah, and A1 compared to PPO variants.