DexCatch: Learning to Catch Arbitrary Objects with Dexterous Hands

📄 arXiv: 2310.08809v2 📥 PDF

作者: Fengbo Lan, Shengjie Wang, Yunzhe Zhang, Haotian Xu, Oluwatosin Oseni, Ziye Zhang, Yang Gao, Tao Zhang

分类: cs.RO, cs.AI

发布日期: 2023-10-13 (更新: 2024-08-18)

💡 一句话要点

提出LTC框架以解决动态抓取任务中的稳定控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态抓取 灵巧手 投掷-接捕 深度学习 机器人技术

📋 核心要点

  1. 现有方法在动态抓取任务中面临稳定控制的挑战，尤其是在处理大量动态接触时。
  2. 本文提出了一种基于学习的框架LTC，专注于投掷-接捕任务，旨在提高抓取的成功率和效率。
  3. 实验结果显示，LTC在多种场景下成功率达到73%，且在极端情况下仍保持超过60%的成功率，优于所有基线方法。

📝 摘要（中文）

实现类人灵巧操作是机器人研究中的重要领域。目前的研究主要集中在提高物体抓取与放置任务的成功率。与抓取放置相比，投掷-接捕行为有潜力提高物体运输的速度。然而，动态灵巧操作由于大量动态接触，稳定控制面临重大挑战。本文提出了一种基于学习的投掷-接捕任务框架（LTC），在45种场景下实现了73%的成功率，且学习到的策略在未见物体上表现出强大的零-shot迁移性能。在手中物体侧向的任务中，尽管缺乏掌心支撑，所有基线方法均失败，而我们的方案仍实现了超过60%的成功率。

🔬 方法详解

问题定义：本文旨在解决动态抓取任务中的稳定控制问题，现有方法在处理动态接触时表现不佳，导致成功率低下。

核心思路：提出基于学习的框架LTC，通过训练灵巧手的投掷-接捕策略，提升动态操作的成功率和效率。

技术框架：LTC框架包括数据采集、策略学习和策略评估三个主要模块，利用深度学习技术优化抓取策略。

关键创新：LTC的核心创新在于其强大的零-shot迁移能力，能够在未见物体上有效应用学习到的策略，显著提升了动态抓取的成功率。

关键设计：在训练过程中，采用了多样化的手势和物体组合，设计了适应性损失函数，以增强模型对不同动态场景的适应能力。通过调整网络结构，优化了策略学习的效率和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LTC在45种不同场景下的成功率达到73%，在极端情况下仍能保持超过60%的成功率，显著优于所有基线方法。这表明LTC在动态抓取任务中的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、自动化仓储和救援机器人等，能够显著提升机器人在动态环境中的操作能力。未来，该技术有望推动机器人在复杂任务中的自主性和灵活性，拓宽其应用范围。

📄 摘要（原文）

Achieving human-like dexterous manipulation remains a crucial area of research in robotics. Current research focuses on improving the success rate of pick-and-place tasks. Compared with pick-and-place, throwing-catching behavior has the potential to increase the speed of transporting objects to their destination. However, dynamic dexterous manipulation poses a major challenge for stable control due to a large number of dynamic contacts. In this paper, we propose a Learning-based framework for Throwing-Catching tasks using dexterous hands (LTC). Our method, LTC, achieves a 73\% success rate across 45 scenarios (diverse hand poses and objects), and the learned policies demonstrate strong zero-shot transfer performance on unseen objects. Additionally, in tasks where the object in hand faces sideways, an extremely unstable scenario due to the lack of support from the palm, all baselines fail, while our method still achieves a success rate of over 60\%.