In the Wild Ungraspable Object Picking with Bimanual Nonprehensile Manipulation
作者: Albert Wu, Dan Kruse
分类: cs.RO
发布日期: 2024-09-23
💡 一句话要点
提出一种基于双臂非抓取操作的复杂环境下物体拾取方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 双臂机器人 非抓取操作 物体拾取 机器人操作 力闭合
📋 核心要点
- 现实场景中存在大量传统夹爪难以抓取的物体，如体积大、重量重或形状不规则的物品，这限制了机器人操作的范围。
- 该方法利用双臂协作和非抓取操作，通过推挤清除遮挡，并结合末端执行器侧面的接触进行抓取，无需硬件修改即可扩展可拾取物品的范围。
- 在模拟和真实超市环境中进行了实验，结果表明该方法在非杂乱和杂乱场景中均取得了较高的成功率，验证了其有效性。
📝 摘要（中文）
本文提出了一种基于双臂非抓取操作的物体拾取方法，旨在扩展机器人可拾取物体的范围，无需修改硬件。该方法应用于超市购物场景，配备吸盘夹爪和平行爪夹爪的双臂移动机械臂从拥挤的货架上拾取难以抓取的物品。该方法首先从视觉观察中识别基于力闭合和摩擦约束的最佳抓取点。如果抓取点被遮挡，则执行一系列非抓取推挤动作以清除障碍物。然后，利用末端执行器侧面的接触执行双臂抓取以抓取目标物品。在复制的杂货店场景中，在非杂乱场景中实现了90%的成功率（102次试验），在杂乱场景中实现了67%的成功率（45次试验）。该系统还部署到真实的杂货店，并成功地拾取了以前未见过的物品。结果突出了双臂非抓取操作在实际机器人拾取任务中的潜力。
🔬 方法详解
问题定义：现有机器人拾取方法通常依赖于吸盘或平行爪等传统夹爪，但这些夹爪难以处理体积大、重量重或形状不规则的物体。在拥挤的真实环境中，物体常常被遮挡，进一步增加了抓取的难度。因此，如何使机器人能够在复杂环境中拾取各种难以抓取的物体是一个重要的挑战。
核心思路：该论文的核心思路是利用双臂协作和非抓取操作来解决难以抓取物体的拾取问题。通过一个手臂进行推挤操作，清除遮挡物，暴露出可抓取的表面。然后，利用双臂协同，通过末端执行器侧面的接触来实现稳定抓取。这种方法无需修改硬件，即可扩展机器人可拾取物体的范围。
技术框架：该方法主要包含以下几个阶段：1) 视觉感知：利用视觉系统获取场景信息，识别目标物体及其周围环境。2) 抓取点规划：基于力闭合和摩擦约束，从视觉信息中识别最佳抓取点。3) 非抓取操作：如果抓取点被遮挡，则执行一系列非抓取推挤动作，清除障碍物。4) 双臂抓取：利用双臂协同，通过末端执行器侧面的接触执行抓取动作。
关键创新：该论文的关键创新在于将双臂非抓取操作应用于物体拾取任务。通过推挤操作清除遮挡，并利用末端执行器侧面的接触进行抓取，扩展了机器人可拾取物体的范围。此外，该方法无需修改硬件，即可在现有机器人平台上实现。
关键设计：论文中未明确给出关键参数设置、损失函数、网络结构等技术细节。抓取点规划可能涉及到力闭合和摩擦约束的计算，非抓取操作的推挤轨迹规划可能需要考虑物体和环境的几何信息。这些细节的实现方式未知。
🖼️ 关键图片
📊 实验亮点
该方法在复制的杂货店场景中进行了实验，在非杂乱场景中实现了90%的成功率（102次试验），在杂乱场景中实现了67%的成功率（45次试验）。此外，该系统还部署到真实的杂货店，并成功地拾取了以前未见过的物品，验证了该方法在实际应用中的有效性。
🎯 应用场景
该研究具有广泛的应用前景，例如在仓储物流、家庭服务、医疗护理等领域。它可以使机器人能够处理各种形状和尺寸的物体，提高自动化水平和服务质量。未来，该技术可以进一步应用于更复杂的环境和任务中，例如在灾难救援和太空探索等领域。
📄 摘要（原文）
Picking diverse objects in the real world is a fundamental robotics skill. However, many objects in such settings are bulky, heavy, or irregularly shaped, making them ungraspable by conventional end effectors like suction grippers and parallel jaw grippers (PJGs). In this paper, we expand the range of pickable items without hardware modifications using bimanual nonprehensile manipulation. We focus on a grocery shopping scenario, where a bimanual mobile manipulator equipped with a suction gripper and a PJG is tasked with retrieving ungraspable items from tightly packed grocery shelves. From visual observations, our method first identifies optimal grasp points based on force closure and friction constraints. If the grasp points are occluded, a series of nonprehensile nudging motions are performed to clear the obstruction. A bimanual grasp utilizing contacts on the side of the end effectors is then executed to grasp the target item. In our replica grocery store, we achieved a 90% success rate over 102 trials in uncluttered scenes, and a 67% success rate over 45 trials in cluttered scenes. We also deployed our system to a real-world grocery store and successfully picked previously unseen items. Our results highlight the potential of bimanual nonprehensile manipulation for in-the-wild robotic picking tasks. A video summarizing this work can be found at youtu.be/g0hOrDuK8jM