UniLegs: Universal Multi-Legged Robot Control through Morphology-Agnostic Policy Distillation
作者: Weijie Xi, Zhanxiang Cao, Chenlin Ming, Jianying Zheng, Guyue Zhou
分类: cs.RO
发布日期: 2025-07-30 (更新: 2025-07-31)
备注: 6 pages, 3 figures, IROS 2025
💡 一句话要点
UniLegs：通过形态无关策略蒸馏实现通用多足机器人控制
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多足机器人控制 策略蒸馏 Transformer网络 形态无关控制 强化学习 行为克隆
📋 核心要点
- 现有方法难以在多足机器人控制中兼顾特定形态的优化性能和跨形态的通用性，为每种形态单独设计控制器成本高昂。
- UniLegs通过策略蒸馏，将针对不同形态优化的教师策略知识迁移到基于Transformer的单一学生策略，实现形态无关的通用控制。
- 实验表明，UniLegs在多种形态上表现良好，Transformer架构优于MLP，并在真实四足机器人上成功部署，验证了方法的有效性。
📝 摘要（中文）
在多足机器人运动控制中，如何开发能够泛化到不同机器人形态的控制器仍然是一个重大挑战。传统方法要么为每种形态创建专用控制器，要么牺牲性能以换取通用性。本文提出了一种两阶段的师生框架，通过策略蒸馏弥合了这一差距。首先，我们训练针对个体形态优化的专用教师策略，捕捉每种机器人设计的独特最优控制策略。然后，我们将这种专业知识提炼成一个基于Transformer的单一学生策略，该策略能够控制具有不同腿部配置的机器人。在五种不同的腿部形态上的实验表明，我们的方法保留了特定形态的最优行为，Transformer架构在训练形态上达到了教师性能的94.47%，在未见过的机器人设计上达到了72.64%。对比分析表明，Transformer架构通过利用注意力机制有效地建模不同运动学结构中的关节关系，始终优于MLP基线。我们通过在物理四足机器人上的成功部署验证了我们的方法，证明了形态无关控制框架的实际可行性。这项工作为开发通用多足机器人控制器提供了一个可扩展的解决方案，该控制器在保持接近最优性能的同时，可以泛化到不同的形态。
🔬 方法详解
问题定义：多足机器人控制面临的主要问题是如何设计一个能够适应不同机器人形态（例如，腿的数量、长度、关节配置等）的通用控制器。现有的方法要么为每种形态单独设计控制器，这需要大量的人工工作和计算资源；要么使用一个通用的控制器，但这种控制器通常无法达到针对特定形态优化的控制器的性能。因此，痛点在于如何在保持高性能的同时，实现跨不同机器人形态的通用控制。
核心思路：UniLegs的核心思路是利用策略蒸馏，将针对特定形态优化的教师策略的知识迁移到一个通用的学生策略中。具体来说，首先为每种机器人形态训练一个独立的教师策略，这些教师策略能够充分利用该形态的特点，达到最优的控制性能。然后，使用这些教师策略作为指导，训练一个通用的学生策略，使其能够学习到不同形态的控制策略，从而实现跨形态的泛化。这样设计的目的是为了让学生策略能够继承教师策略的优点，同时避免为每种形态单独设计控制器。
技术框架：UniLegs的技术框架是一个两阶段的师生学习框架。第一阶段是教师策略训练阶段，为每种机器人形态训练一个独立的教师策略。第二阶段是学生策略蒸馏阶段，使用第一阶段训练好的教师策略作为指导，训练一个通用的学生策略。学生策略采用基于Transformer的架构，输入是机器人的状态信息（例如，关节角度、角速度等），输出是机器人的控制指令（例如，关节力矩）。
关键创新：UniLegs最重要的技术创新点是使用Transformer架构作为学生策略，并利用注意力机制来建模不同关节之间的关系。传统的MLP网络难以有效地建模不同关节之间的复杂关系，而Transformer架构可以通过注意力机制来学习到这些关系，从而更好地适应不同的机器人形态。此外，使用策略蒸馏的方法可以将针对特定形态优化的教师策略的知识迁移到学生策略中，从而提高学生策略的性能。
关键设计：在教师策略训练阶段，使用强化学习算法（例如，PPO）来训练每个教师策略。在学生策略蒸馏阶段，使用行为克隆的方法来训练学生策略，即让学生策略模仿教师策略的行为。损失函数包括行为克隆损失和正则化损失。Transformer架构的关键参数包括注意力头的数量、Transformer层的数量和隐藏层的大小。为了提高泛化能力，在训练过程中使用了数据增强技术，例如，随机改变机器人的初始状态和环境参数。
🖼️ 关键图片
📊 实验亮点
UniLegs在五种不同的腿部形态上进行了实验，结果表明，Transformer架构在训练形态上达到了教师性能的94.47%，在未见过的机器人设计上达到了72.64%。对比分析表明，Transformer架构始终优于MLP基线。此外，UniLegs还在真实的四足机器人上成功部署，验证了该方法的实际可行性。这些实验结果表明，UniLegs能够有效地实现跨不同机器人形态的通用控制，并保持接近最优的性能。
🎯 应用场景
UniLegs具有广泛的应用前景，可用于快速开发和部署各种多足机器人的控制系统，例如搜救机器人、物流机器人、巡检机器人等。该方法降低了为不同形态机器人设计控制器的成本，加速了机器人技术的应用。未来，UniLegs可以扩展到更复杂的机器人系统，例如人形机器人和软体机器人，并与其他技术（如感知和规划）相结合，实现更智能的机器人控制。
📄 摘要（原文）
Developing controllers that generalize across diverse robot morphologies remains a significant challenge in legged locomotion. Traditional approaches either create specialized controllers for each morphology or compromise performance for generality. This paper introduces a two-stage teacher-student framework that bridges this gap through policy distillation. First, we train specialized teacher policies optimized for individual morphologies, capturing the unique optimal control strategies for each robot design. Then, we distill this specialized expertise into a single Transformer-based student policy capable of controlling robots with varying leg configurations. Our experiments across five distinct legged morphologies demonstrate that our approach preserves morphology-specific optimal behaviors, with the Transformer architecture achieving 94.47% of teacher performance on training morphologies and 72.64% on unseen robot designs. Comparative analysis reveals that Transformer-based architectures consistently outperform MLP baselines by leveraging attention mechanisms to effectively model joint relationships across different kinematic structures. We validate our approach through successful deployment on a physical quadruped robot, demonstrating the practical viability of our morphology-agnostic control framework. This work presents a scalable solution for developing universal legged robot controllers that maintain near-optimal performance while generalizing across diverse morphologies.