ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback

📄 arXiv: 2610.32966v1 📥 PDF

作者: Zimo He, Tianyi Bian, Zizhong Yang, Hongjie Li, Nan Jiang, Jieming Cui, Baoxiong Jia, Yizhou Wang, Siyuan Huang, Yixin Zhu

分类: cs.RO, cs.CV

发布日期: 2026-10-23

备注: The first four authors contributed equally. Project website: https://awfuact.github.io/vit-h/

💡 一句话要点

提出ViT-H以解决视频到类人控制的可执行性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 类人控制 视频生成 运动跟踪 扩散模型 实时遥操作 机器人技术 人工智能

📋 核心要点

  1. 现有的重建-重定向-跟踪管道在系统级可扩展性上存在局限，无法直接优化参考动作的可执行性。
  2. ViT-H框架通过扩散模型直接从视频生成类人动作，省略了传统的重建和重定向步骤，并利用运动跟踪反馈进行优化。
  3. 在Unitree G1上的实验结果显示，ViT-H在动作质量和可执行性方面显著优于现有方法，且具有良好的可扩展性。

📝 摘要（中文）

从单目人类视频学习类人控制为获取多样化的全身行为提供了一种可扩展的方法。然而，现有的重建-重定向-跟踪管道由于各个中间阶段的独立优化，限制了系统级的可扩展性，且无法直接利用下游跟踪反馈优化参考动作的可执行性。我们提出了ViT-H，这是一种遵循生成与跟踪范式的视频到类人控制框架。ViT-H直接从视频生成类人参考动作，使用扩散模型，绕过人类动作重建和重定向，并利用运动跟踪结果对生成器进行后训练，实现直接偏好优化。我们进一步引入了一种自回归变体，使得实时类人视频遥操作的延迟低于400毫秒。在Unitree G1上的广泛实验表明，ViT-H在动作质量和可执行性上均优于最先进的重建-重定向-跟踪管道。

🔬 方法详解

问题定义：本论文旨在解决从单目视频学习类人控制时，现有重建-重定向-跟踪方法在系统级可扩展性和参考动作可执行性上的不足。现有方法的各个阶段独立优化，导致无法有效利用下游反馈进行优化。

核心思路：ViT-H框架的核心思想是通过扩散模型直接从视频生成类人参考动作，避免了传统方法中的重建和重定向步骤，并通过运动跟踪结果对生成器进行后训练，从而实现更高的可执行性。

技术框架：ViT-H的整体架构包括两个主要模块：生成模块和跟踪模块。生成模块负责从输入视频生成类人动作，而跟踪模块则利用运动跟踪反馈对生成的动作进行优化，确保其可执行性。

关键创新：ViT-H的主要创新在于其生成与跟踪的结合，直接生成类人动作并利用跟踪反馈进行优化，这与传统的重建-重定向-跟踪方法形成了本质区别，显著提高了动作的可执行性。

关键设计：在设计中，ViT-H采用了扩散模型作为生成器，并在后训练阶段引入了运动跟踪反馈，以优化生成的动作。此外，模型的参数设置和损失函数设计也经过精心调整，以确保生成动作的质量和可执行性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ViT-H在动作质量和可执行性上均优于最先进的重建-重定向-跟踪管道，具体表现为在Unitree G1上实现了更高的动作执行成功率和更自然的运动表现。此外，ViT-H在模型规模和数据规模的扩展上表现出良好的可扩展性，运动跟踪反馈在不同跟踪器上均能有效提升可执行性。

🎯 应用场景

该研究的潜在应用场景包括机器人控制、虚拟现实和增强现实等领域。在这些领域中，能够从视频中学习并生成类人动作将极大地提升人机交互的自然性和灵活性，推动相关技术的发展和应用。未来，ViT-H可能会在自动化和智能系统中发挥重要作用，提升其智能化水平。

📄 摘要（原文）

Learning humanoid control from monocular human videos offers a scalable way to acquire diverse whole-body behaviors. Yet, existing reconstruction-retargeting-tracking pipelines are limited in system-level scalability by separately optimized intermediate stages and cannot directly optimize reference motion executability using downstream tracking feedback. We present ViT-H, a video-to-humanoid control framework following a generation-and-tracking paradigm. ViT-H directly generates humanoid reference motions from videos with a diffusion model, bypassing human motion reconstruction and retargeting, and uses motion-tracking outcomes to post-train the generator with direct preference optimization. We further introduce an autoregressive variant that enables real-time humanoid video teleoperation with sub-400 ms latency. Extensive experiments on the Unitree G1 demonstrate that ViT-H outperforms state-of-the-art reconstruction-retargeting-tracking pipelines in both motion quality and executability. We further show that ViT-H scales favorably with model size and with both pre-training and post-training data scale, while motion-tracking feedback consistently improves executability across different motion trackers.