CLOT: Closed-Loop Global Motion Tracking for Whole-Body Humanoid Teleoperation

📄 arXiv: 2602.15060v2 📥 PDF

作者: Tengjie Zhu, Guanyu Cai, Yang Zhaohui, Guanzhu Ren, Haohui Xie, ZiRui Wang, Junsong Wu, Jingbo Wang, Xiaokang Yang, Yao Mu, Yichao Yan

分类: cs.RO, cs.AI

发布日期: 2026-02-13 (更新: 2026-02-20)

💡 一句话要点

CLOT：基于闭环全局运动跟踪实现全身人形机器人遥操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人遥操作 全局运动跟踪 闭环控制 强化学习 Transformer 数据驱动随机化 对抗运动先验

📋 核心要点

  1. 现有基于学习的跟踪方法通常在机器人局部坐标系中操作，忽略全局姿态反馈，导致长期遥操作中的漂移和不稳定。
  2. CLOT通过高频定位反馈实现闭环全局运动跟踪，同步操作者和机器人的姿态，从而实现长时间无漂移的人形模仿。
  3. 采用数据驱动的随机化策略解耦观察轨迹与奖励评估，并使用对抗运动先验正则化策略，保证全局修正的平滑性和稳定性。

📝 摘要（中文）

全身人形机器人遥操作面临着长期执行中全局姿态漂移的挑战，尤其是在全尺寸机器人上。本文提出了CLOT，一个实时的全身人形机器人遥操作系统，通过高频定位反馈实现闭环全局运动跟踪，从而实现无漂移的人形机器人模仿。为了避免直接在强化学习中施加全局跟踪奖励导致的激进和脆弱的修正，本文提出了一种数据驱动的随机化策略，将观察轨迹与奖励评估解耦，从而实现平滑稳定的全局修正。此外，使用对抗运动先验来约束策略，抑制不自然的动作。为了支持CLOT，收集了20小时精心策划的人类运动数据用于训练人形机器人遥操作策略。设计了一个基于Transformer的策略，并训练了超过1300个GPU小时。该策略部署在一个具有31个自由度（不包括手）的全尺寸人形机器人上。仿真和真实世界的实验验证了CLOT在高动态运动、高精度跟踪和强大的sim-to-real人形机器人遥操作方面的性能。

🔬 方法详解

问题定义：全身人形机器人遥操作中，由于长时间运行，机器人全局姿态会产生累积漂移，尤其是在全尺寸人形机器人上。现有的基于学习的跟踪方法通常在机器人局部坐标系中操作，忽略了全局姿态的反馈，导致漂移和不稳定，限制了遥操作的有效性和实用性。

核心思路：CLOT的核心思路是通过闭环全局运动跟踪来解决姿态漂移问题。通过高频率的定位反馈，系统能够实时同步操作者和机器人的全局姿态，从而实现无漂移的长期遥操作。这种闭环反馈机制能够不断修正机器人的姿态，使其与操作者的姿态保持一致。

技术框架：CLOT系统包含以下主要模块：1) 人类运动捕捉系统，用于实时获取操作者的全身运动数据；2) 基于Transformer的遥操作策略，将操作者的运动数据映射到机器人的动作指令；3) 高频定位系统，用于实时获取机器人的全局姿态信息；4) 闭环控制模块，根据定位信息调整机器人的动作指令，实现全局姿态的跟踪和修正。整个系统以闭环方式运行，不断优化机器人的运动轨迹。

关键创新：CLOT的关键创新在于闭环全局运动跟踪和数据驱动的随机化策略。闭环全局运动跟踪能够有效抑制姿态漂移，提高遥操作的精度和稳定性。数据驱动的随机化策略将观察轨迹与奖励评估解耦，避免了直接施加全局跟踪奖励导致的激进和脆弱的修正，从而保证了全局修正的平滑性和稳定性。

关键设计：CLOT采用Transformer作为遥操作策略的网络结构，能够有效捕捉操作者运动数据中的时序依赖关系。为了训练该策略，收集了20小时精心策划的人类运动数据。此外，使用对抗运动先验来正则化策略，抑制不自然的动作。数据驱动的随机化策略通过随机化环境参数（如机器人质量、摩擦系数等）来提高策略的泛化能力。训练过程使用了超过1300个GPU小时。

📊 实验亮点

CLOT系统在仿真和真实世界的实验中都表现出优异的性能。实验结果表明，CLOT能够实现高动态运动和高精度跟踪，有效抑制姿态漂移。与传统的遥操作方法相比，CLOT在长期执行任务中具有更强的鲁棒性和稳定性。具体性能数据在论文中进行了详细展示，包括跟踪误差、运动速度、稳定性指标等。

🎯 应用场景

CLOT技术可应用于危险环境下的远程操作、医疗手术辅助、工业自动化等领域。例如，在核电站检修、灾难救援等场景中，操作人员可以通过CLOT系统远程控制人形机器人执行任务，避免人员直接暴露于危险环境中。在医疗领域，医生可以利用CLOT系统进行远程手术，提高手术的精度和效率。此外，CLOT技术还可以用于娱乐和教育领域，例如远程控制机器人进行表演或教学。

📄 摘要（原文）

Long-horizon whole-body humanoid teleoperation remains challenging due to accumulated global pose drift, particularly on full-sized humanoids. Although recent learning-based tracking methods enable agile and coordinated motions, they typically operate in the robot's local frame and neglect global pose feedback, leading to drift and instability during extended execution. In this work, we present CLOT, a real-time whole-body humanoid teleoperation system that achieves closed-loop global motion tracking via high-frequency localization feedback. CLOT synchronizes operator and robot poses in a closed loop, enabling drift-free human-to-humanoid mimicry over long timehorizons. However, directly imposing global tracking rewards in reinforcement learning, often results in aggressive and brittle corrections. To address this, we propose a data-driven randomization strategy that decouples observation trajectories from reward evaluation, enabling smooth and stable global corrections. We further regularize the policy with an adversarial motion prior to suppress unnatural behaviors. To support CLOT, we collect 20 hours of carefully curated human motion data for training the humanoid teleoperation policy. We design a transformer-based policy and train it for over 1300 GPU hours. The policy is deployed on a full-sized humanoid with 31 DoF (excluding hands). Both simulation and real-world experiments verify high-dynamic motion, high-precision tracking, and strong robustness in sim-to-real humanoid teleoperation. Motion data, demos and code can be found in our website.