Achieving Human Level Competitive Robot Table Tennis
作者: David B. D'Ambrosio, Saminda Abeyruwan, Laura Graesser, Atil Iscen, Heni Ben Amor, Alex Bewley, Barney J. Reed, Krista Reymann, Leila Takayama, Yuval Tassa, Krzysztof Choromanski, Erwin Coumans, Deepali Jain, Navdeep Jaitly, Natasha Jaques, Satoshi Kataoka, Yuheng Kuang, Nevena Lazic, Reza Mahjourian, Sherry Moore, Kenneth Oslund, Anish Shankar, Vikas Sindhwani, Vincent Vanhoucke, Grace Vesom, Peng Xu, Pannag R. Sanketi
分类: cs.RO
发布日期: 2024-08-07 (更新: 2025-05-01)
💡 一句话要点
提出一种分层模块化策略，使机器人达到业余人类水平的乒乓球竞技能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人乒乓球 强化学习 分层控制 Sim-to-Real 深度Q网络
📋 核心要点
- 现有机器人难以在现实世界中达到人类水平的速度和性能，尤其是在需要高精度和快速反应的运动项目中。
- 论文提出一种分层模块化策略，包含低级技能控制器和高级策略选择器，并采用迭代式sim-to-real方法。
- 实验结果表明，该机器人能够在乒乓球比赛中达到业余人类水平，胜率达到45%，尤其擅长对战初学者和中级玩家。
📝 摘要（中文）
本研究旨在使机器人达到人类水平的速度和性能，并提出了一种学习型机器人代理，在竞技乒乓球中达到了业余人类水平。乒乓球是一项对身体要求很高的运动，需要人类运动员经过多年的训练才能达到较高的水平。本文贡献包括：（1）一个分层和模块化的策略架构，由（i）具有详细技能描述的低级控制器组成，这些控制器模拟了代理的能力并有助于弥合模拟到真实的差距，以及（ii）一个选择低级技能的高级控制器；（2）实现零样本模拟到真实的技术，包括一种迭代方法来定义基于真实世界的任务分布，并定义一个自动课程；（3）实时适应未见过的对手。通过29场机器人与人类的比赛评估了策略性能，机器人赢得了45%（13/29）的比赛。所有人类都是未见过的玩家，他们的技能水平从初学者到锦标赛级别不等。虽然机器人输掉了所有与最先进玩家的比赛，但它赢得了100%与初学者的比赛和55%与中级玩家的比赛，表明了扎实的业余人类水平表现。
🔬 方法详解
问题定义：现有机器人乒乓球系统难以在真实环境中达到人类业余水平的竞技能力。主要痛点在于：1) 复杂的物理交互和快速的反应速度要求；2) 模拟环境与真实环境的差异（sim-to-real gap）；3) 需要适应不同水平的对手。
核心思路：论文的核心思路是采用分层强化学习，将复杂的乒乓球任务分解为多个低级技能，并通过高级策略选择器来协调这些技能。这种分层结构简化了学习过程，并提高了策略的泛化能力。同时，通过迭代式的sim-to-real方法，逐步缩小模拟环境与真实环境的差距。
技术框架：整体架构包含两个主要模块：1) 低级控制器：负责执行具体的乒乓球技能，如发球、正手击球、反手击球等。每个技能都有对应的技能描述符，用于指导控制器的训练。2) 高级策略选择器：根据当前比赛状态（如球的位置、速度、对手位置等）选择合适的低级技能。该选择器通过强化学习进行训练，以最大化比赛胜率。
关键创新：论文的关键创新点在于：1) 分层模块化策略架构，能够有效地分解复杂任务，并提高策略的泛化能力。2) 迭代式的sim-to-real方法，通过在真实环境中收集数据，并反馈到模拟环境中进行改进，从而有效地缩小了sim-to-real gap。3) 实时适应对手的能力，高级策略选择器能够根据对手的行为动态调整策略。
关键设计：低级控制器采用阻抗控制，以保证运动的平滑性和稳定性。高级策略选择器采用深度Q网络（DQN）进行训练，奖励函数设计为胜率。迭代式sim-to-real方法中，任务分布的定义基于真实世界的数据，并采用自动课程学习的方式逐步增加任务的难度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该机器人能够在乒乓球比赛中达到业余人类水平，胜率达到45%。在与初学者对战时，胜率达到100%；与中级玩家对战时，胜率达到55%。虽然与最高水平的玩家对战时全部失败，但整体表现证明了该机器人在乒乓球竞技方面的显著进步。
🎯 应用场景
该研究成果可应用于其他需要高精度和快速反应的机器人任务，如工业自动化、医疗手术等。通过分层强化学习和sim-to-real技术，可以降低机器人开发的成本和时间，并提高机器人在真实环境中的适应能力。未来，该技术有望应用于更复杂的机器人系统，实现更高级的自动化。
📄 摘要（原文）
Achieving human-level speed and performance on real world tasks is a north star for the robotics research community. This work takes a step towards that goal and presents the first learned robot agent that reaches amateur human-level performance in competitive table tennis. Table tennis is a physically demanding sport which requires human players to undergo years of training to achieve an advanced level of proficiency. In this paper, we contribute (1) a hierarchical and modular policy architecture consisting of (i) low level controllers with their detailed skill descriptors which model the agent's capabilities and help to bridge the sim-to-real gap and (ii) a high level controller that chooses the low level skills, (2) techniques for enabling zero-shot sim-to-real including an iterative approach to defining the task distribution that is grounded in the real-world and defines an automatic curriculum, and (3) real time adaptation to unseen opponents. Policy performance was assessed through 29 robot vs. human matches of which the robot won 45% (13/29). All humans were unseen players and their skill level varied from beginner to tournament level. Whilst the robot lost all matches vs. the most advanced players it won 100% matches vs. beginners and 55% matches vs. intermediate players, demonstrating solidly amateur human-level performance. Videos of the matches can be viewed at https://sites.google.com/view/competitive-robot-table-tennis