KungfuAthleteBot: learning high-dynamic humanoid motion from video with unified robust recovery
作者: Zhongxiang Lei, Lulu Cao, Xuyang Wang, Tianyi Qian, Jinyan Liu, Xuesong Li
分类: cs.RO
发布日期: 2026-10-02
💡 一句话要点
提出KungfuAthleteBot以解决高动态人形机器人运动学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 高动态运动 人形机器人 视频学习 物理引导 轨迹修正 跌倒恢复 动态可行性 伪低动能采样
📋 核心要点
- 现有方法在将视频运动数据应用于人形机器人时面临物理一致性和恢复能力不足的挑战。
- 提出的KAB框架通过物理引导的轨迹修正和伪低动能采样，解决了视频运动数据的动态可行性问题。
- KAB在实验中实现了从任意跌倒中快速恢复，恢复时间约为0.7秒，展现了显著的性能提升。
📝 摘要（中文）
视频是丰富且廉价的人类运动数据来源，尤其在极限运动行为方面。然而，直接将视频数据应用于人形机器人并不简单，因为视频生成的运动缺乏物理一致性、驱动信息，并且未考虑失败或恢复情况。本文提出了KungfuAthleteBot（KAB）框架，针对这些问题逐一解决。我们构建了KungfuAthlete数据集，并引入物理引导的抛物线轨迹修正，消除了重建过程中的高度漂浮、地面穿透和高频抖动。通过物理驱动的伪低动能采样，使得学习动态可行状态成为可能。最后，我们提出了一种直接训练范式，使得干扰拒绝和跌倒恢复在同一策略中学习，无需额外的恢复参考数据。实验表明，KAB能够在约0.7秒内从任意跌倒中恢复，展现了统一策略的快速恢复能力。
🔬 方法详解
问题定义：本文旨在解决从视频学习高动态人形运动时，运动数据缺乏物理一致性、驱动信息不足以及未考虑失败和恢复的问题。现有方法无法有效处理这些挑战，导致生成的运动轨迹不具备可行性。
核心思路：KAB框架通过引入物理引导的轨迹修正和伪低动能采样，使得学习动态可行的运动状态成为可能，从而避免了直接模仿不切实际的运动轨迹。
技术框架：KAB的整体架构包括三个主要模块：1) KungfuAthlete数据集的构建与轨迹修正；2) 物理驱动的伪低动能采样；3) 直接训练范式，结合干扰拒绝与跌倒恢复。
关键创新：最重要的技术创新在于将轨迹修正与动态可行性学习结合在同一框架内，避免了传统方法中对恢复参考数据的依赖。
关键设计：在设计中，采用了物理引导的抛物线轨迹修正算法，设置了伪低动能采样的参数，以确保初始化向动态可行状态偏移，损失函数则结合了运动跟踪与恢复能力的学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，KAB能够在约0.7秒内从任意跌倒中恢复，成为已报道的最快恢复时间。此外，KAB的统一策略在动态技能学习上展现出显著的性能提升，相较于传统方法，修复和补偿视频数据的能力是实现高动态人形技能的关键。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在极限运动、救援任务和人机交互中的应用。通过提高机器人在动态环境中的运动能力和恢复能力，KAB能够显著增强机器人在复杂场景中的实用性和灵活性，未来可能推动机器人技术的广泛应用。
📄 摘要（原文）
Video is an abundant, inexpensive source of human motion data that is rich in extreme athletic behaviors. Making it usable for humanoid robots, however, is not a matter of simply retargeting a reconstructed trajectory: video-derived motion is physically inconsistent, devoid of actuation information, and says nothing about failure or recovery. We present KungfuAthleteBot (KAB), a framework that treats learning high-dynamic motion from video as the central problem and resolves each of these three failure modes in turn. (C1) We build the KungfuAthlete dataset from videos of national-level martial artists and introduce a physics-guided parabolic trajectory correction that removes height floating, ground penetration, and high-frequency jitter from reconstructed aerial and landing phases. (C2) Because video carries no force information, strict tracking of a reconstructed trajectory is dynamically infeasible, and error-driven initialization keeps re-launching the policy from infeasible aerial poses. We introduce physics-driven pseudo-low-kinetic-energy (LKE) sampling, our central mechanism for making such references learnable: it biases initialization towards dynamically feasible states, letting the policy discover feasible actuation patterns instead of imitating infeasible ones. (C3) Finally, we introduce a direct training paradigm in which disturbance rejection and fall recovery are learned inside the same policy that tracks the video motion, requiring no recovery reference data and no manual mode switching. On a humanoid robot, KAB learns dynamic skills from video and recovers from arbitrary falls in about 0.7 s, the fastest reported recovery for a unified policy. Ablations on the unified policy confirm the necessity of its components, supporting the view that repairing and compensating video data, rather than only collecting more of it, is what unlocks high-dynamic humanoid skills.