HuMiT: Low-Latency Whole-Body Humanoid Teleoperation via Compact Reference Tracking

📄 arXiv: 2610.29903v1 📥 PDF

作者: Liu Cao, Botian Xu, Ruoqu Chen, Jiajun Liu, Mingzhi Pei, Zihao Wang, Zhongyu Li, Mengdi Xu

分类: cs.RO

发布日期: 2026-10-21

备注: 7 pages, 3 figures, 4 tables. Project page: https://xiaohu-art.github.io/Track/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HuMiT以解决低延迟全身类人机器人遥操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 类人机器人 遥操作 低延迟 运动跟踪 优化策略 实时控制 关键点跟踪

📋 核心要点

  1. 现有的类人机器人遥操作方法存在计算延迟问题，难以实现实时控制。
  2. HuMiT通过仅使用紧凑的参考目标，简化了跟踪策略，降低了对昂贵模块的依赖。
  3. 实验结果显示，HuMiT在延迟和跟踪精度上均表现优异，能够实现快速反应和协调操作。

📝 摘要（中文）

实时全身类人机器人遥操作面临着由基于优化的重定向管道和未来帧条件引入的计算延迟。现有的运动跟踪策略通常需要密集的参考目标，包括完整的关节位置、身体部位变换，甚至未来帧，这使得控制器与昂贵的上游模块紧密耦合。本文提出了HuMiT，一个基于统一跟踪策略的全身遥操作系统，仅需紧凑的参考目标，包括根高度、根速度和当前帧的四个稀疏关键点的SE(3)姿态，便能实现与依赖于更多样化参考状态的方法相媲美的跟踪精度。实验表明，我们的策略在头戴设备流媒体与策略输出之间实现了约20毫秒的通信到推理延迟，并且在不同运动类型下，基于视频的光流延迟中位数为65毫秒。我们在Unitree G1类人机器人上验证了该系统，展示了瞬时反应能力，如接住投掷的球，以及协调的运动操作能力。

🔬 方法详解

问题定义：本文旨在解决实时全身类人机器人遥操作中的计算延迟问题。现有方法通常依赖于复杂的优化过程和密集的参考目标，导致延迟过高，难以实现流畅的遥操作体验。

核心思路：HuMiT的核心思想是采用统一的跟踪策略，仅需使用紧凑的参考目标（如根高度、根速度和四个关键点的姿态），从而减少计算复杂性并提高响应速度。

技术框架：HuMiT的整体架构包括数据采集、参考目标生成、运动跟踪和控制输出四个主要模块。通过简化参考目标，系统能够快速处理输入数据并生成控制指令。

关键创新：HuMiT的主要创新在于其紧凑的参考目标设计，这与传统方法依赖于完整关节位置和未来帧的做法形成鲜明对比，显著降低了计算负担。

关键设计：在设计中，HuMiT采用了特定的损失函数来优化跟踪精度，并通过调整网络结构来适应稀疏关键点的输入，确保系统的高效性和实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HuMiT在实验中实现了约20毫秒的通信到推理延迟，以及65毫秒的光流延迟，显示出其在低延迟遥操作中的优越性能。与传统方法相比，HuMiT在跟踪精度上保持竞争力，同时大幅降低了计算复杂性。

🎯 应用场景

该研究的潜在应用领域包括远程医疗、灾难救援和人机协作等场景。在这些领域，实时的类人机器人遥操作能够显著提高工作效率和安全性，未来可能推动智能机器人在复杂环境中的广泛应用。

📄 摘要（原文）

Real-time whole-body humanoid teleoperation remains challenging due to the computational latency introduced by optimization-based retargeting pipelines and future-frame conditioning. Existing motion tracking policies typically require dense reference targets including full joint positions, body-part transformations, and even future frames, which tightly couples the controller to expensive upstream modules. In this work, we present HuMiT, a whole-body teleoperation system built on a unified tracking policy that requires only a compact reference target, consisting of root height, root velocity, and the SE(3) poses of four sparse keypoints at the current frame, yet achieves competitive tracking fidelity compared to methods relying on more diverse reference states including complete joint positions, dense body-part transformations, and even future frames. Experiments show that our policy achieves a communication-to-inference latency of $\sim$20 ms measured between headset streaming and policy output and a video-based optical flow latency of 65 ms (median) across different motion types. We validate the system on a Unitree G1 humanoid, showcasing split-second reactive responses such as catching a tossed ball, as well as coordinated loco-manipulation capabilities. Project page: https://xiaohu-art.github.io/Track/.