Learning Athletic Humanoid Tennis Skills from Imperfect Human Motion Data

📄 arXiv: 2603.12686v1 📥 PDF

作者: Zhikai Zhang, Haofei Lu, Yunrui Lian, Ziqing Chen, Yun Liu, Chenghuai Lin, Han Xue, Zicheng Zeng, Zekun Qi, Shaolin Zheng, Qing Luan, Jingbo Wang, Junliang Xing, He Wang, Li Yi

分类: cs.RO

发布日期: 2026-03-13

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

LATENT：从不完美人类动作数据学习类人机器人网球技能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 类人机器人 网球技能 强化学习 运动规划 sim-to-real迁移

📋 核心要点

  1. 现有方法缺乏完美的类人网球动作数据，难以在机器人上复现人类运动员的复杂网球技能。
  2. LATENT利用不完美但包含原始技能的运动片段，通过校正和组合学习类人机器人的网球策略。
  3. 该方法在宇树G1机器人上实现了稳定的多拍对打，验证了其在真实环境中的有效性。

📝 摘要（中文）

本文提出LATENT系统，旨在从不完美的人类动作数据中学习类人机器人的网球技能。由于缺乏完美的类人动作数据或真实网球场景中的人类运动学数据作为参考，在类人机器人上复现人类运动员在网球运动中展示的多样化和高动态技能非常困难。LATENT利用包含网球运动中原始技能的运动片段，而非精确完整的真实网球比赛人类运动序列，从而显著降低了数据收集的难度。核心思想是，尽管数据不完美，但这些准真实数据仍然提供了人类在网球场景中原始技能的先验知识。通过进一步的校正和组合，学习到一种类人策略，该策略能够在各种条件下稳定地击打来球并将其返回到目标位置，同时保持自然的运动风格。此外，还提出了一系列用于鲁棒的sim-to-real迁移的设计，并将策略部署在宇树G1类人机器人上。该方法在现实世界中取得了令人惊讶的结果，并能够与人类玩家稳定地进行多拍对打。

🔬 方法详解

问题定义：论文旨在解决类人机器人学习复杂网球技能的问题。现有方法依赖于完美的、完整的网球动作数据，但获取此类数据成本高昂且困难。因此，如何利用不完美、不完整的运动数据来训练类人机器人完成网球任务是一个挑战。

核心思路：论文的核心思路是利用包含原始网球技能的运动片段作为先验知识，通过学习和组合这些片段，使机器人能够掌握完整的网球技能。即使数据不完美，也包含了人类运动的内在规律，可以通过算法进行修正和完善。

技术框架：LATENT系统主要包含数据收集、策略学习和sim-to-real迁移三个阶段。首先，收集包含原始网球技能的运动片段数据。然后，利用这些数据训练一个能够击打来球并返回到目标位置的类人机器人策略。最后，通过一系列技术手段，将该策略成功地迁移到真实机器人上。

关键创新：该方法最重要的创新点在于能够从不完美的人类运动数据中学习类人机器人的复杂技能。与现有方法需要完整、精确的数据不同，LATENT只需要包含原始技能的运动片段，大大降低了数据收集的难度。此外，该方法还提出了一系列用于鲁棒的sim-to-real迁移的设计，保证了策略在真实环境中的有效性。

关键设计：论文中使用了强化学习算法来训练类人机器人的策略。具体来说，使用了actor-critic算法，其中actor网络负责生成机器人的动作，critic网络负责评估动作的质量。此外，还设计了一系列奖励函数，鼓励机器人击打来球并将其返回到目标位置。为了实现鲁棒的sim-to-real迁移，使用了域随机化技术，在模拟环境中对机器人的参数和环境进行随机化，从而提高策略在真实环境中的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LATENT系统在宇树G1类人机器人上成功实现了稳定的多拍对打，展示了其在真实环境中的有效性。该机器人能够稳定地击打来球并将其返回到目标位置，同时保持自然的运动风格。实验结果表明，该方法能够有效地从不完美的人类运动数据中学习类人机器人的复杂技能。

🎯 应用场景

该研究成果可应用于开发具有复杂运动技能的类人机器人，例如体育机器人、服务机器人等。通过学习人类的运动技能，机器人可以更好地完成各种任务，提高工作效率和服务质量。此外，该研究还可以促进强化学习和sim-to-real迁移等领域的发展，为其他机器人应用提供借鉴。

📄 摘要（原文）

Human athletes demonstrate versatile and highly-dynamic tennis skills to successfully conduct competitive rallies with a high-speed tennis ball. However, reproducing such behaviors on humanoid robots is difficult, partially due to the lack of perfect humanoid action data or human kinematic motion data in tennis scenarios as reference. In this work, we propose LATENT, a system that Learns Athletic humanoid TEnnis skills from imperfect human motioN daTa. The imperfect human motion data consist only of motion fragments that capture the primitive skills used when playing tennis rather than precise and complete human-tennis motion sequences from real-world tennis matches, thereby significantly reducing the difficulty of data collection. Our key insight is that, despite being imperfect, such quasi-realistic data still provide priors about human primitive skills in tennis scenarios. With further correction and composition, we learn a humanoid policy that can consistently strike incoming balls under a wide range of conditions and return them to target locations, while preserving natural motion styles. We also propose a series of designs for robust sim-to-real transfer and deploy our policy on the Unitree G1 humanoid robot. Our method achieves surprising results in the real world and can stably sustain multi-shot rallies with human players. Project page: https://zzk273.github.io/LATENT/