OmniTrack: General Motion Tracking via Physics-Consistent Reference
作者: Yuhan Li, Peiyuan Zhi, Yunshen Wang, Tengyu Liu, Sixu Yan, Wenyu Liu, Xinggang Wang, Baoxiong Jia, Siyuan Huang
分类: cs.RO
发布日期: 2026-02-27
备注: website: https://omnitrack-humanoid.github.io/
💡 一句话要点
OmniTrack：通过物理一致性参考实现通用运动跟踪
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动跟踪 强化学习 物理一致性 通用控制
📋 核心要点
- 现有方法在人形机器人运动跟踪中，由于人机差异和数据噪声，常出现违反物理规律的运动伪影，影响跟踪效果。
- OmniTrack通过解耦物理可行性与运动跟踪，先生成物理可行的参考运动，再训练策略跟踪，保证机器人运动的稳定性。
- 实验表明，OmniTrack提高了运动跟踪的准确性和泛化性，并在真实机器人上实现了长时间稳定跟踪，包括复杂动作。
📝 摘要（中文）
本文提出OmniTrack，一个通用运动跟踪框架，旨在解决人形机器人运动跟踪中因人机形态和动力学差异以及数据噪声导致的物理不可行伪影问题。这些伪影会在训练和执行过程中造成跟踪不准确和机器人不稳定的冲突，阻碍通用运动跟踪策略的发展。OmniTrack显式地将物理可行性与通用运动跟踪解耦。首先，一个特权通用策略通过在仿真中进行轨迹rollout，生成严格遵守机器人动力学的物理上合理的运动。然后，训练通用控制策略来跟踪这些物理上可行的运动，确保稳定和连贯的控制转移到真实机器人。实验表明，OmniTrack提高了跟踪精度，并展示了对未见运动的强大泛化能力。在真实世界测试中，OmniTrack实现了长达一小时的稳定跟踪，包括复杂的杂技动作，如翻转和车轮。此外，OmniTrack支持人类风格的稳定和动态在线遥操作，突出了其鲁棒性和对不同用户输入的适应性。
🔬 方法详解
问题定义：人形机器人运动跟踪旨在模仿人类运动，但由于机器人和人类在形态、动力学上的差异，以及数据中存在的噪声，直接使用人类运动数据作为参考会导致机器人产生违反物理规律的运动，例如漂浮、穿透等。这些不合理的运动参考会使得机器人难以维持平衡，阻碍了通用运动跟踪策略的训练和应用。
核心思路：OmniTrack的核心思路是将运动跟踪问题分解为两个阶段：首先生成物理上可行的参考运动，然后训练控制策略来跟踪这些参考运动。通过这种解耦，可以避免直接使用不合理的运动参考，从而提高机器人的稳定性和跟踪精度。
技术框架：OmniTrack包含两个主要阶段：1) 物理可行运动生成阶段：使用一个特权通用策略在仿真环境中进行轨迹rollout，生成符合机器人动力学约束的运动轨迹。这个策略可以访问机器人的完整状态信息，并进行充分的探索，以生成高质量的参考运动。2) 通用控制策略训练阶段：训练一个通用控制策略，使其能够跟踪第一阶段生成的物理可行运动。这个策略只需要观察有限的状态信息，例如机器人的关节角度和速度，就可以实现稳定的运动跟踪。
关键创新：OmniTrack的关键创新在于显式地将物理可行性与运动跟踪解耦。传统的运动跟踪方法通常直接使用人类运动数据作为参考，而忽略了机器人自身的动力学约束。OmniTrack通过生成物理可行的参考运动，确保了机器人运动的合理性，从而提高了跟踪的稳定性和泛化性。
关键设计：在物理可行运动生成阶段，使用了强化学习算法来训练特权通用策略。奖励函数的设计至关重要，需要考虑机器人的平衡、运动的平滑性以及与目标运动的相似度。在通用控制策略训练阶段，可以使用模仿学习或强化学习算法。损失函数的设计需要考虑跟踪误差、控制力矩的大小以及运动的平滑性。具体的网络结构和参数设置需要根据具体的机器人和任务进行调整。
🖼️ 关键图片
📊 实验亮点
OmniTrack在仿真和真实机器人实验中都取得了显著的成果。在仿真实验中，OmniTrack提高了运动跟踪的准确性和泛化性。在真实机器人实验中，OmniTrack实现了长达一小时的稳定跟踪，包括翻转和车轮等复杂动作。此外，OmniTrack还支持人类风格的稳定和动态在线遥操作，展示了其强大的鲁棒性和适应性。
🎯 应用场景
OmniTrack在人形机器人控制领域具有广泛的应用前景，可以用于开发各种复杂的机器人行为，例如运动技能学习、人机协作、远程操作等。该技术可以提升机器人在复杂环境中的适应性和鲁棒性，使其能够更好地服务于人类，例如在医疗、救援、娱乐等领域发挥作用。未来，OmniTrack有望成为通用人形机器人控制的基础技术。
📄 摘要（原文）
Learning motion tracking from rich human motion data is a foundational task for achieving general control in humanoid robots, enabling them to perform diverse behaviors. However, discrepancies in morphology and dynamics between humans and robots, combined with data noise, introduce physically infeasible artifacts in reference motions, such as floating and penetration. During both training and execution, these artifacts create a conflict between following inaccurate reference motions and maintaining the robot's stability, hindering the development of a generalizable motion tracking policy. To address these challenges, we introduce OmniTrack, a general tracking framework that explicitly decouples physical feasibility from general motion tracking. In the first stage, a privileged generalist policy generates physically plausible motions that strictly adhere to the robot's dynamics via trajectory rollout in simulation. In the second stage, the general control policy is trained to track these physically feasible motions, ensuring stable and coherent control transfer to the real robot. Experiments show that OmniTrack improves tracking accuracy and demonstrates strong generalization to unseen motions. In real-world tests, OmniTrack achieves hour-long, consistent, and stable tracking, including complex acrobatic motions such as flips and cartwheels. Additionally, we show that OmniTrack supports human-style stable and dynamic online teleoperation, highlighting its robustness and adaptability to varying user inputs.