Morphology-Aware Graph Reinforcement Learning for Tensegrity Robot Locomotion

📄 arXiv: 2510.26067v1 📥 PDF

作者: Chi Zhang, Mingrui Li, Wenzhe Tong, Xiaonan Huang

分类: cs.RO

发布日期: 2025-10-30

💡 一句话要点

提出一种形态感知图强化学习方法，用于张拉整体机器人运动控制。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 张拉整体机器人 强化学习 图神经网络 运动控制 形态感知

📋 核心要点

  1. 张拉整体机器人控制面临欠驱动和高度耦合动力学的挑战，传统方法难以有效学习。
  2. 论文提出形态感知图强化学习框架，利用图神经网络捕获机器人组件间的耦合关系。
  3. 实验表明，该方法样本效率高，鲁棒性强，且策略能直接从仿真迁移到真实机器人。

📝 摘要（中文）

张拉整体机器人结合了刚性杆和弹性缆索，具有高弹性和可展开性，但由于其欠驱动和高度耦合的动力学特性，对运动控制提出了重大挑战。本文提出了一种形态感知强化学习框架，该框架将图神经网络（GNN）集成到软演员-评论家（SAC）算法中。通过将机器人的物理拓扑表示为图，所提出的基于GNN的策略能够捕获组件之间的耦合，从而实现比传统多层感知器（MLP）策略更快、更稳定的学习。该方法在物理3杆张拉整体机器人上进行了验证，涵盖了三种运动原语，包括直线跟踪和双向转弯。结果表明，该方法具有卓越的样本效率、对噪声和刚度变化的鲁棒性以及更高的轨迹精度。值得注意的是，学习到的策略可以直接从仿真转移到硬件，无需微调，从而实现稳定的真实世界运动。这些结果证明了将结构先验知识融入强化学习对于张拉整体机器人控制的优势。

🔬 方法详解

问题定义：张拉整体机器人由于其独特的结构特性（刚性杆和弹性缆索的组合），呈现出欠驱动和高度耦合的动力学特性。这使得传统的控制方法，如PID控制或基于模型的控制，难以有效地进行运动控制。现有的强化学习方法，例如使用多层感知器（MLP）作为策略网络，无法充分利用机器人的结构信息，导致学习效率低下，泛化能力不足。

核心思路：论文的核心思路是将张拉整体机器人的物理拓扑结构表示为图，并利用图神经网络（GNN）来学习控制策略。通过这种方式，GNN能够捕获机器人各个组件之间的耦合关系，从而更好地理解机器人的动力学行为。这种形态感知的策略学习方法能够提高学习效率，增强策略的鲁棒性，并实现从仿真到真实世界的无缝迁移。

技术框架：该方法将GNN集成到软演员-评论家（SAC）算法中，形成一个形态感知强化学习框架。整体流程如下：首先，将张拉整体机器人的结构表示为图，其中节点代表机器人组件（如杆或缆索），边代表组件之间的连接关系。然后，使用GNN来处理这个图，提取机器人的结构特征。这些结构特征与机器人的状态信息（如位置、速度）一起输入到SAC算法中，用于学习控制策略。SAC算法负责优化策略，使其能够在环境中获得最大的奖励。

关键创新：该方法最重要的技术创新点在于将图神经网络引入到张拉整体机器人的强化学习控制中。与传统的MLP策略相比，GNN能够更好地利用机器人的结构信息，从而提高学习效率和策略的泛化能力。此外，该方法还实现了从仿真到真实世界的无缝迁移，无需进行额外的微调。

关键设计：GNN的具体结构可以根据机器人的具体拓扑结构进行调整。论文中使用的GNN包含多个图卷积层，每个图卷积层负责聚合来自相邻节点的信息。损失函数采用SAC算法中常用的软Q学习损失函数和策略梯度损失函数。关键参数包括GNN的层数、每层的节点特征维度、学习率等。这些参数需要根据具体的机器人和任务进行调整。

📊 实验亮点

实验结果表明，该方法在三种运动原语（直线跟踪和双向转弯）上均优于传统的MLP策略。与MLP策略相比，该方法具有更高的样本效率、更强的鲁棒性（对噪声和刚度变化）以及更高的轨迹精度。更重要的是，学习到的策略可以直接从仿真转移到真实世界的3杆张拉整体机器人上，无需进行额外的微调，实现了稳定的真实世界运动。

🎯 应用场景

该研究成果可应用于各种张拉整体机器人的运动控制，例如用于搜索救援、环境勘探等复杂环境中的机器人。此外，该方法还可以推广到其他具有复杂拓扑结构的机器人控制问题，例如柔性机器人、模块化机器人等。该研究有助于推动机器人控制领域的智能化和自主化发展。

📄 摘要（原文）

Tensegrity robots combine rigid rods and elastic cables, offering high resilience and deployability but posing major challenges for locomotion control due to their underactuated and highly coupled dynamics. This paper introduces a morphology-aware reinforcement learning framework that integrates a graph neural network (GNN) into the Soft Actor-Critic (SAC) algorithm. By representing the robot's physical topology as a graph, the proposed GNN-based policy captures coupling among components, enabling faster and more stable learning than conventional multilayer perceptron (MLP) policies. The method is validated on a physical 3-bar tensegrity robot across three locomotion primitives, including straight-line tracking and bidirectional turning. It shows superior sample efficiency, robustness to noise and stiffness variations, and improved trajectory accuracy. Notably, the learned policies transfer directly from simulation to hardware without fine-tuning, achieving stable real-world locomotion. These results demonstrate the advantages of incorporating structural priors into reinforcement learning for tensegrity robot control.