TeleGate: Whole-Body Humanoid Teleoperation via Gated Expert Selection with Motion Prior
作者: Jie Li, Bing Tang, Feng Wu, Rongyun Cao
分类: cs.RO
发布日期: 2026-02-10
💡 一句话要点
TeleGate：基于门控专家选择与运动先验的全身人形机器人遥操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 遥操作 门控专家选择 运动先验 VAE 实时控制 强化学习
📋 核心要点
- 现有遥操作方法将多个专家策略蒸馏成单一策略，导致动态运动性能下降。
- TeleGate通过门控网络动态激活专家策略，保留各策略的完整能力。
- 引入VAE运动先验模块，从历史观测预测未来运动意图，实现预测控制。
📝 摘要（中文）
实时全身遥操作是人形机器人在非结构化环境中执行复杂任务的关键方法。然而，开发一个能够鲁棒地支持各种人体运动的统一控制器仍然是一个巨大的挑战。现有方法通常将多个专家策略提炼成一个单一的通用策略，这通常不可避免地导致性能下降，尤其是在高度动态的运动中。本文提出TeleGate，一个统一的全身人形机器人遥操作框架，它实现了跨各种运动的高精度跟踪，同时避免了知识蒸馏中固有的性能损失。我们的核心思想是通过训练一个轻量级的门控网络来保持特定领域专家策略的全部能力，该网络基于本体感受状态和参考轨迹实时动态地激活专家。此外，为了补偿实时遥操作中缺少未来参考轨迹的情况，我们引入了一个基于VAE的运动先验模块，该模块从历史观测中提取隐式的未来运动意图，从而为需要预测的运动（如跳跃和站立）实现预测控制。我们在仿真中进行了实证评估，并将我们的技术部署在宇树G1人形机器人上。仅使用2.5小时的运动捕捉数据进行训练，我们的TeleGate实现了跨各种动态运动（例如，跑步、跌倒恢复和跳跃）的高精度实时遥操作，在跟踪精度和成功率方面均显著优于基线方法。
🔬 方法详解
问题定义：现有全身人形机器人遥操作方法难以兼顾多种复杂运动，特别是动态运动。通过知识蒸馏将多个专家策略融合为单一策略，虽然简化了控制器的设计，但不可避免地导致性能下降，无法充分发挥各专家策略的优势。因此，需要一种能够支持多种运动，同时保持各运动控制精度的遥操作框架。
核心思路：TeleGate的核心思路是保留各个专家策略的独立性，并设计一个门控网络来动态选择合适的专家策略。通过这种方式，避免了知识蒸馏带来的性能损失，同时实现了对多种运动的精确控制。此外，为了应对实时遥操作中缺少未来参考轨迹的问题，引入运动先验模块来预测未来运动意图。
技术框架：TeleGate框架主要包含三个模块：专家策略模块、门控网络模块和运动先验模块。专家策略模块包含多个针对特定运动训练的专家策略。门控网络模块根据当前机器人状态和参考轨迹，动态地选择激活哪个专家策略。运动先验模块基于历史观测数据，预测未来运动意图，为门控网络提供辅助信息。整体流程是：首先，运动先验模块根据历史观测预测未来运动意图；然后，门控网络结合当前状态、参考轨迹和运动意图，选择激活合适的专家策略；最后，被激活的专家策略输出控制指令，驱动机器人运动。
关键创新：TeleGate的关键创新在于：1) 提出了一种基于门控专家选择的遥操作框架，避免了知识蒸馏带来的性能损失；2) 引入了基于VAE的运动先验模块，解决了实时遥操作中缺少未来参考轨迹的问题，实现了预测控制。与现有方法相比，TeleGate能够更好地处理多种复杂运动，并保持较高的控制精度。
关键设计：门控网络采用轻量级神经网络结构，输入包括本体感受状态和参考轨迹，输出是各个专家策略的激活概率。运动先验模块采用VAE结构，通过编码历史观测数据，学习隐式的运动意图表示。损失函数包括跟踪误差损失和门控网络选择的专家策略的置信度损失。专家策略可以使用各种强化学习算法进行训练，例如PPO或SAC。训练数据主要来自运动捕捉数据，只需少量数据即可实现较好的性能。
🖼️ 关键图片
📊 实验亮点
TeleGate在仿真和真实机器人（宇树G1）上进行了验证。仅使用2.5小时的运动捕捉数据进行训练，TeleGate在跑步、跌倒恢复和跳跃等多种动态运动中实现了高精度实时遥操作，显著优于基线方法。在跟踪精度和成功率方面均有明显提升，具体提升幅度未知。
🎯 应用场景
TeleGate技术可应用于各种需要人形机器人进行远程操作的场景，例如：危险环境下的救援、复杂环境下的维护、医疗手术辅助等。该技术能够显著提高人形机器人的操作精度和灵活性，使其能够更好地适应各种复杂任务的需求，具有重要的实际应用价值和广阔的未来发展前景。
📄 摘要（原文）
Real-time whole-body teleoperation is a critical method for humanoid robots to perform complex tasks in unstructured environments. However, developing a unified controller that robustly supports diverse human motions remains a significant challenge. Existing methods typically distill multiple expert policies into a single general policy, which often inevitably leads to performance degradation, particularly on highly dynamic motions. This paper presents TeleGate, a unified whole-body teleoperation framework for humanoid robots that achieves high-precision tracking across various motions while avoiding the performance loss inherent in knowledge distillation. Our key idea is to preserve the full capability of domain-specific expert policies by training a lightweight gating network, which dynamically activates experts in real-time based on proprioceptive states and reference trajectories. Furthermore, to compensate for the absence of future reference trajectories in real-time teleoperation, we introduce a VAE-based motion prior module that extracts implicit future motion intent from historical observations, enabling anticipatory control for motions requiring prediction such as jumping and standing up. We conducted empirical evaluations in simulation and also deployed our technique on the Unitree G1 humanoid robot. Using only 2.5 hours of motion capture data for training, our TeleGate achieves high-precision real-time teleoperation across diverse dynamic motions (e.g., running, fall recovery, and jumping), significantly outperforming the baseline methods in both tracking accuracy and success rate.