Learning Extrinsic Dexterity with Parameterized Manipulation Primitives
作者: Shih-Min Yang, Martin Magnusson, Johannes A. Stork, Todor Stoyanov
分类: cs.RO, cs.LG
发布日期: 2023-10-26 (更新: 2024-05-09)
备注: 2024 IEEE International Conference on Robotics and Automation (ICRA 2024)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出层次化强化学习以解决机器人抓取中的目标物体遮挡问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人抓取 层次化强化学习 参数化操作原语 深度感知 物体操控 环境交互 自动化技术
📋 核心要点
- 现有的单次抓取规划方法在目标物体被遮挡的情况下往往无法成功，导致抓取失败。
- 本文提出了一种基于层次化强化学习的方法，通过学习参数化操作原语的序列来操控物体姿态，从而实现抓取。
- 实验结果表明，该方法在98%的实验中成功完成了物体抓取任务，显示出良好的实用性和有效性。
📝 摘要（中文）
许多实际相关的机器人抓取问题中，目标物体的所有抓取方式都被遮挡，例如被环境遮挡。在这种情况下，单次抓取规划往往失败。因此，需要先操控物体，使其处于可抓取的配置。本文通过学习一系列动作，利用环境改变物体的姿态，解决了这一问题。具体而言，我们采用层次化强化学习结合一系列学习的参数化操作原语。通过学习低级操作策略，我们的方法能够通过利用物体、夹持器和环境之间的交互来控制物体的状态。我们在各种重量、形状和摩擦特性的箱形物体的抓取实验中评估了我们的方法，并成功地在98%的实验中完成了物体抓取任务。
🔬 方法详解
问题定义：本文要解决的具体问题是如何在目标物体被遮挡的情况下进行有效的抓取。现有方法在这种情况下往往无法成功，导致抓取失败。
核心思路：论文的核心解决思路是通过层次化强化学习来学习一系列参数化操作原语，利用环境的交互来改变物体的姿态，从而实现抓取。这样的设计能够避免对物理模型的严格要求，直接从深度感知数据中学习。
技术框架：整体架构包括三个主要模块：首先是感知模块，负责获取深度数据；其次是策略学习模块，使用层次化强化学习来学习操作原语；最后是执行模块，将学习到的策略应用于实际的抓取任务中。
关键创新：最重要的技术创新点在于通过层次化强化学习直接在深度感知数据上操作，而不需要进行物体检测、姿态估计或手动设计控制器。这一方法显著简化了复杂行为的设计过程。
关键设计：在参数设置上，采用了适应性学习率和多种奖励机制，以促进策略的有效学习。损失函数设计上，结合了抓取成功率和操作效率，确保学习到的策略既有效又高效。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在98%的实验中成功完成了物体抓取任务，表现出优异的性能，相较于传统方法显著提高了抓取成功率，展示了其在复杂环境中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动化仓库、服务机器人以及工业机器人等场景，能够显著提升机器人在复杂环境中的抓取能力。未来，该方法有望推广到更广泛的机器人操作任务中，推动智能机器人技术的发展。
📄 摘要（原文）
Many practically relevant robot grasping problems feature a target object for which all grasps are occluded, e.g., by the environment. Single-shot grasp planning invariably fails in such scenarios. Instead, it is necessary to first manipulate the object into a configuration that affords a grasp. We solve this problem by learning a sequence of actions that utilize the environment to change the object's pose. Concretely, we employ hierarchical reinforcement learning to combine a sequence of learned parameterized manipulation primitives. By learning the low-level manipulation policies, our approach can control the object's state through exploiting interactions between the object, the gripper, and the environment. Designing such a complex behavior analytically would be infeasible under uncontrolled conditions, as an analytic approach requires accurate physical modeling of the interaction and contact dynamics. In contrast, we learn a hierarchical policy model that operates directly on depth perception data, without the need for object detection, pose estimation, or manual design of controllers. We evaluate our approach on picking box-shaped objects of various weight, shape, and friction properties from a constrained table-top workspace. Our method transfers to a real robot and is able to successfully complete the object picking task in 98\% of experimental trials. Supplementary information and videos can be found at https://shihminyang.github.io/ED-PMP/.