MS-PPO: Morphological-Symmetry-Equivariant Policy for Legged Robot Locomotion

📄 arXiv: 2512.00727v1 📥 PDF

作者: Sizhe Wei, Xulin Chen, Fengze Xie, Garrett Ethan Katz, Zhenyu Gan, Lu Gan

分类: cs.RO

发布日期: 2025-11-30

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

MS-PPO：用于腿式机器人运动的形态对称等变策略学习框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 腿式机器人 强化学习 形态对称性 等变策略 图神经网络

📋 核心要点

  1. 现有腿式机器人强化学习方法缺乏对机器人形态和对称性的考虑，导致训练效率低下和泛化能力受限。
  2. MS-PPO通过构建形态感知的图神经网络，将机器人运动学结构和形态对称性直接编码到策略网络中。
  3. 实验表明，MS-PPO在训练稳定性、对称泛化能力和样本效率方面优于现有方法，并在真实机器人上成功部署。

📝 摘要（中文）

本文提出了一种形态对称等变策略学习框架MS-PPO，该框架将机器人运动学结构和形态对称性直接编码到策略网络中。构建了一个形态感知的图神经网络架构，该架构对于机器人形态对称群作用是可证明的等变的，确保了对称状态下策略响应的一致性，同时保持了价值估计的不变性。这种设计消除了强制对称性所需的繁琐的奖励塑造或昂贵的数据增强。在Unitree Go2和小米CyberDog2机器人上，通过包括小跑、跳跃、斜坡行走和双足转向等多种运动任务的仿真实验，并进一步将学习到的策略部署到硬件上，验证了MS-PPO的有效性。实验结果表明，与最先进的基线方法相比，MS-PPO在具有挑战性的运动任务中实现了卓越的训练稳定性、对称泛化能力和样本效率。这些发现表明，将运动学结构和形态对称性嵌入到策略学习中，为腿式机器人运动控制提供了一个强大的归纳偏置。

🔬 方法详解

问题定义：现有腿式机器人强化学习方法在策略学习过程中，通常忽略了机器人自身的形态结构和对称性。这导致训练过程需要大量的样本，并且学习到的策略难以泛化到具有不同形态或对称性的机器人上。此外，为了强制策略满足对称性，通常需要进行繁琐的奖励塑造或昂贵的数据增强，增加了训练的复杂性。

核心思路：MS-PPO的核心思路是将机器人的运动学结构和形态对称性作为归纳偏置，直接嵌入到策略网络的设计中。通过构建一个形态感知的图神经网络，使得策略网络能够自动学习到与机器人形态对称性相关的知识，从而提高训练效率和泛化能力。这种方法避免了手动设计奖励函数或进行数据增强的需要。

技术框架：MS-PPO的整体框架包括以下几个主要模块：1) 状态编码器：将机器人的状态信息编码成图结构，其中节点表示机器人的关节，边表示关节之间的连接关系。2) 形态对称等变图神经网络：利用图神经网络对状态图进行处理，提取与机器人形态对称性相关的特征。该网络的设计保证了输出对于机器人形态对称群作用是等变的。3) 策略网络和价值网络：利用提取的特征，分别生成策略和价值估计。策略网络用于选择动作，价值网络用于评估当前状态的价值。

关键创新：MS-PPO最重要的技术创新在于其形态对称等变图神经网络的设计。该网络通过特定的结构和操作，保证了输出对于机器人形态对称群作用是等变的。这意味着，如果输入状态经过对称变换，那么网络的输出也会进行相应的对称变换。这种等变性使得策略网络能够自动学习到与机器人形态对称性相关的知识，从而提高训练效率和泛化能力。与现有方法相比，MS-PPO不需要手动设计奖励函数或进行数据增强来强制策略满足对称性。

关键设计：MS-PPO的关键设计包括：1) 图结构的构建方式：如何将机器人的运动学结构表示成图结构，以及如何选择合适的节点和边。2) 图神经网络的结构：如何设计图神经网络的层，以及如何选择合适的激活函数和归一化方法。3) 对称群作用的编码方式：如何将机器人形态对称群作用编码到图神经网络中，以保证输出的等变性。4) 损失函数的设计：如何设计损失函数，以优化策略网络和价值网络的参数。

📊 实验亮点

MS-PPO在Unitree Go2和小米CyberDog2机器人上的仿真实验表明，与最先进的基线方法相比，MS-PPO在训练稳定性、对称泛化能力和样本效率方面均有显著提升。例如，在小跑任务中，MS-PPO的训练速度比基线方法快2倍，并且能够学习到更加稳定的运动策略。此外，MS-PPO还成功地将学习到的策略部署到真实机器人上，验证了其在实际应用中的有效性。

🎯 应用场景

MS-PPO具有广泛的应用前景，可用于各种腿式机器人的运动控制，例如四足机器人、双足机器人和多足机器人。该方法可以提高机器人在复杂地形和环境中的运动能力，例如在崎岖地形上行走、在斜坡上行走、以及进行各种复杂的运动动作。此外，MS-PPO还可以用于机器人的自主导航和探索，提高机器人的智能化水平。

📄 摘要（原文）

Reinforcement learning has recently enabled impressive locomotion capabilities on legged robots; however, most policy architectures remain morphology- and symmetry-agnostic, leading to inefficient training and limited generalization. This work introduces MS-PPO, a morphological-symmetry-equivariant policy learning framework that encodes robot kinematic structure and morphological symmetries directly into the policy network. We construct a morphology-informed graph neural architecture that is provably equivariant with respect to the robot's morphological symmetry group actions, ensuring consistent policy responses under symmetric states while maintaining invariance in value estimation. This design eliminates the need for tedious reward shaping or costly data augmentation, which are typically required to enforce symmetry. We evaluate MS-PPO in simulation on Unitree Go2 and Xiaomi CyberDog2 robots across diverse locomotion tasks, including trotting, pronking, slope walking, and bipedal turning, and further deploy the learned policies on hardware. Extensive experiments show that MS-PPO achieves superior training stability, symmetry generalization ability, and sample efficiency in challenging locomotion tasks, compared to state-of-the-art baselines. These findings demonstrate that embedding both kinematic structure and morphological symmetry into policy learning provides a powerful inductive bias for legged robot locomotion control. Our code will be made publicly available at https://lunarlab-gatech.github.io/MS-PPO/.