Unified Locomotion Transformer with Simultaneous Sim-to-Real Transfer for Quadrupeds

📄 arXiv: 2503.08997v2 📥 PDF

作者: Dikai Liu, Tianwei Zhang, Jianxiong Yin, Simon See

分类: cs.RO, cs.LG

发布日期: 2025-03-12 (更新: 2025-08-03)

备注: Accepted for IROS 2025. Project website for video: https://johnliudk.github.io/ult/

💡 一句话要点

提出统一运动Transformer（ULT），实现四足机器人零样本Sim-to-Real迁移

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 四足机器人 运动控制 强化学习 Transformer 知识迁移 Sim-to-Real 多任务学习

📋 核心要点

  1. 现有基于Transformer的四足机器人运动控制依赖师生框架，需预训练教师策略，效率较低。
  2. 提出统一运动Transformer（ULT），在单个网络中同时进行知识迁移和策略优化。
  3. ULT通过强化学习、状态-动作预测和动作模仿，实现四足机器人零样本Sim-to-Real部署。

📝 摘要（中文）

四足机器人跨越复杂地形的能力取得了快速进展。深度强化学习（RL）、Transformer以及各种知识迁移技术可以显著缩小仿真到现实的差距。然而，现有运动策略中常用的经典师生框架需要预训练的教师策略，并利用特权信息来指导学生策略。随着大规模模型在机器人控制器中的应用，特别是基于Transformer的模型，这种知识蒸馏技术由于需要多个监督阶段，其效率开始显现出不足。本文提出了统一运动Transformer（ULT），这是一种新的基于Transformer的框架，可以在单个网络中统一知识迁移和策略优化过程，同时仍然利用特权信息。策略通过强化学习、下一步状态-动作预测和动作模仿进行优化，所有这些都在一个训练阶段中完成，以实现零样本部署。评估结果表明，使用ULT可以同时获得最佳的教师和学生策略，大大降低了知识迁移的难度，即使是对于复杂的基于Transformer的模型。

🔬 方法详解

问题定义：现有四足机器人运动控制方法，特别是基于Transformer的模型，通常采用师生框架进行知识迁移，需要预训练教师策略，并依赖特权信息指导学生策略。这种多阶段监督训练方式效率较低，难以适应复杂模型的训练需求。

核心思路：ULT的核心思路是将知识迁移和策略优化统一到一个Transformer网络中，通过多任务学习的方式，同时学习教师策略和学生策略。这样可以避免预训练教师策略的需要，并减少训练阶段，提高训练效率。

技术框架：ULT框架包含一个Transformer网络，该网络同时接收状态信息和特权信息作为输入。网络输出包括动作预测、下一步状态预测和模仿动作。通过强化学习、下一步状态-动作预测和动作模仿三个任务的联合训练，网络可以同时学习教师策略和学生策略。

关键创新：ULT的关键创新在于将知识迁移和策略优化统一到一个网络中，避免了传统师生框架的多阶段训练过程。此外，ULT还利用下一步状态-动作预测作为辅助任务，进一步提高了策略的学习效率和泛化能力。

关键设计：ULT使用Transformer作为核心网络结构，利用其强大的序列建模能力。损失函数由三部分组成：强化学习损失、下一步状态-动作预测损失和动作模仿损失。通过调整三个损失函数的权重，可以平衡不同任务的学习进度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ULT能够同时获得最优的教师策略和学生策略，显著降低了知识迁移的难度。与传统的师生框架相比，ULT在训练效率和策略性能方面均有显著提升。该方法实现了四足机器人的零样本Sim-to-Real部署，无需额外的真实环境训练。

🎯 应用场景

该研究成果可应用于各种四足机器人，使其能够在复杂地形上实现更稳定、更高效的运动控制。例如，可用于搜救机器人、巡检机器人、物流机器人等，提高其在实际环境中的适应性和可靠性。此外，该方法还可以推广到其他类型的机器人，例如人形机器人和轮式机器人。

📄 摘要（原文）

Quadrupeds have gained rapid advancement in their capability of traversing across complex terrains. The adoption of deep Reinforcement Learning (RL), transformers and various knowledge transfer techniques can greatly reduce the sim-to-real gap. However, the classical teacher-student framework commonly used in existing locomotion policies requires a pre-trained teacher and leverages the privilege information to guide the student policy. With the implementation of large-scale models in robotics controllers, especially transformers-based ones, this knowledge distillation technique starts to show its weakness in efficiency, due to the requirement of multiple supervised stages. In this paper, we propose Unified Locomotion Transformer (ULT), a new transformer-based framework to unify the processes of knowledge transfer and policy optimization in a single network while still taking advantage of privilege information. The policies are optimized with reinforcement learning, next state-action prediction, and action imitation, all in just one training stage, to achieve zero-shot deployment. Evaluation results demonstrate that with ULT, optimal teacher and student policies can be obtained at the same time, greatly easing the difficulty in knowledge transfer, even with complex transformer-based models.