PLAT: Sparse Timed Keyframe Motion Tracking for Humanoid Control via Privileged Latent Transition Learning

📄 arXiv: 2609.25754v1 📥 PDF

作者: Zepeng Wang, Jiangxing Wang, Chao Ma, Xiaochuan Shi, Zongqing Lu

分类: cs.RO

发布日期: 2026-09-22

备注: 9 pages, 3 figures, under review

💡 一句话要点

提出PLAT以解决稀疏时序关键帧运动跟踪问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 运动跟踪 稀疏关键帧 强化学习 模仿学习 运动控制 特权学习

📋 核心要点

  1. 现有的人形机器人运动跟踪方法依赖于密集的逐帧参考，限制了其在高层次运动控制中的应用。
  2. 本文提出的PLAT框架通过特权潜在转移学习，利用稀疏的未来关键帧和到达时间，实现稳定的全身运动。
  3. 实验结果显示，PLAT在不同规划时间范围内保持准确和稳定的跟踪，特别是在长时间命令下表现优异。

📝 摘要（中文）

人形机器人运动跟踪策略依赖于密集的逐帧参考，这限制了其作为高层运动控制器的应用。本文研究了稀疏时序关键帧运动跟踪，提出了一种三阶段的稀疏时序关键帧运动跟踪策略学习框架PLAT，利用特权潜在转移学习。PLAT通过在训练期间利用密集目标序列作为特权监督，弥合了密集运动跟踪和稀疏目标条件控制的差距。通过DAgger风格的模仿学习，首先学习特权潜在先验，然后通过潜在残差强化学习优化潜在转移。大量仿真实验表明，PLAT在不同规划时间范围内保持准确稳定的稀疏时序关键帧跟踪，尤其在长时间命令下表现出色。成功部署在Unitree G1人形机器人上进一步证明了PLAT在稀疏人形运动控制中的有效性和实用性。

🔬 方法详解

问题定义：本文旨在解决人形机器人在稀疏时序关键帧运动跟踪中的挑战，现有方法依赖于密集的逐帧参考，导致灵活性不足和应用场景受限。

核心思路：PLAT框架通过结合特权潜在转移学习和稀疏关键帧命令，提供了一种新的运动跟踪策略，能够在训练时利用密集目标序列进行监督，而在部署时仅需稀疏命令。

技术框架：PLAT的整体架构分为三个主要阶段：首先是通过预训练的密集跟踪专家提供运动先验；其次通过DAgger风格的模仿学习获取特权潜在先验；最后通过潜在残差强化学习优化潜在转移。

关键创新：PLAT的主要创新在于将特权潜在转移学习与稀疏时序关键帧跟踪相结合，显著提高了运动控制的灵活性和稳定性。与传统方法相比，PLAT在训练和部署阶段的需求大大降低。

关键设计：在设计中，PLAT采用了特权监督机制，结合了多种损失函数以优化潜在转移，并通过强化学习策略精细调整动作输出。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PLAT在不同的规划时间范围内均能保持高精度和稳定性，尤其在长时间命令下，跟踪误差显著低于基线方法，展示了其在稀疏时序关键帧跟踪中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括人形机器人控制、自动化运动生成和人机交互等。PLAT框架的有效性和实用性使其在复杂环境中的运动规划和执行中具有重要价值，未来可能推动智能机器人在更多实际场景中的应用。

📄 摘要（原文）

Humanoid motion tracking policies rely on dense frame-by-frame references, limiting their use as high-level motion controllers for planning and interactive motion generation. We study \emph{Sparse Timed Keyframe Motion Tracking}, where a policy receives only sparse future keyframes and their desired arrival times, and must execute stable whole-body motions that reach successive goals. We propose \textbf{PLAT}, a three-stage sparse timed keyframe motion tracking policy learning framework with \textbf{P}rivileged \textbf{LA}tent \textbf{T}ransition learning. PLAT bridges dense motion tracking and sparse goal-conditioned control by exploiting dense goal sequences as privileged supervision during training while requiring only sparse timed keyframe commands at deployment. A pretrained dense tracking expert first provides robust motion priors. A privileged latent prior is then learned through DAgger-style imitation, followed by latent residual reinforcement learning that refines latent transitions instead of directly optimizing actions. Extensive simulation experiments demonstrate that PLAT maintains accurate and stable sparse timed keyframe tracking across varying planning horizons, with particularly strong performance under long-horizon commands. Successful deployment on a Unitree G1 humanoid robot further demonstrates the effectiveness and practicality of PLAT for sparse humanoid motion control.