PGMT: Perceptive General Motion Tracking for Humanoid Robots
作者: Hongyi Li, Li Peizhuo, Yucheng Tao, Ze Wang, Fangzhou Xu, Jinyi Chen, Yanyan Yuan, Dapeng Jia, Yongbin Jin, Mingfeng Fan, Guillaume Sartoretti, Hongtao Wang
分类: cs.RO
发布日期: 2026-09-08
💡 一句话要点
提出PGMT以解决复杂地形下人形机器人运动跟踪问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动跟踪 地形适应 动态运动 远程操作 复杂环境 机器学习
📋 核心要点
- 现有的人形机器人运动跟踪方法在复杂地形上表现不佳，无法有效适应地形变化。
- PGMT通过学习地形适应性，结合运动条件的地形视图，提供了一种新的运动跟踪方法。
- 在Unitree G1上的实验结果表明，PGMT能够在复杂地形中实现稳健的运动执行，支持多种操作模式。
📝 摘要（中文）
人形运动跟踪器能够重现多样的全身运动，但在复杂地形上性能下降，现有的地形无关参考变得不切实际。本文提出PGMT，一个感知通用运动跟踪管道，能够从独立选择的运动参考和地形中学习地形适应。PGMT首先学习一般的跟踪和恢复先验，然后通过运动条件的地形视图来整合地形感知，选择性地编码与当前运动相关的区域。地形感知的跟踪放松允许必要的偏差，同时保持运动意图。通过在Unitree G1上的零样本部署，展示了在真实世界中具有37厘米高障碍物的地形上，稳健的地形适应性运动和全身运动执行，同时支持远程操作、动态运动跟踪和跌倒恢复。PGMT将人形运动跟踪扩展到平坦地面之外，为复杂环境中的地形适应性运动、多样的全身行为和远程操作提供了统一的策略。
🔬 方法详解
问题定义：本文旨在解决人形机器人在复杂地形上运动跟踪性能下降的问题。现有方法依赖于地形无关的运动参考，导致在多样化地形中无法有效适应。
核心思路：PGMT的核心思路是通过独立选择的运动参考和地形来学习地形适应性。该方法首先建立一般的跟踪和恢复先验，然后通过运动条件的地形视图来增强对地形的感知能力。
技术框架：PGMT的整体架构包括两个主要阶段：首先是学习一般的运动跟踪和恢复先验，其次是结合运动条件的地形视图进行地形感知。该框架允许机器人在执行运动时，灵活应对地形变化。
关键创新：PGMT的主要创新在于引入了地形感知的运动条件视图，能够选择性地编码与当前运动相关的地形信息。这一设计使得机器人在复杂地形中能够保持运动意图，同时允许必要的偏差。
关键设计：在关键设计方面，PGMT采用了特定的损失函数来平衡运动意图与地形适应性，网络结构则结合了卷积神经网络和递归神经网络，以处理时序运动数据和地形信息。具体的参数设置和网络架构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PGMT在Unitree G1上实现了在复杂地形中稳健的运动执行，能够有效处理高达37厘米的障碍物。与传统方法相比，PGMT在地形适应性和运动跟踪精度上有显著提升，支持多种操作模式，包括远程操作和动态跟踪。
🎯 应用场景
PGMT的研究成果具有广泛的应用潜力，尤其是在服务机器人、救援机器人和探索机器人等领域。其能够在复杂环境中实现高效的运动跟踪和适应性行为，提升了机器人在实际应用中的灵活性和可靠性。未来，PGMT还可能推动人形机器人在动态和不确定环境中的自主操作能力。
📄 摘要（原文）
Humanoid motion trackers can reproduce diverse whole-body motions, but their performance degrades on complex terrain where terrain-agnostic references become physically infeasible. We present PGMT, a Perceptive General Motion Tracking pipeline for humanoid robots that learns terrain adaptation from independently selected motion references and terrains. PGMT first learns a general tracking and recovery prior, then incorporates terrain perception through motion-conditioned terrain glimpses that selectively encode regions relevant to the current motion. Terrain-aware tracking relaxation allows necessary deviations from the reference while preserving its motion intent. Zero-shot deployment on a Unitree G1 demonstrates robust terrain-adaptive locomotion and whole-body motion execution over real-world terrain with obstacles up to 37 cm high, while supporting teleoperation, dynamic motion tracking, and fall recovery. PGMT extends general humanoid motion tracking beyond flat ground, providing a unified policy for terrain-adaptive locomotion, diverse whole-body behaviors, and teleoperation in complex environments.