COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping

📄 arXiv: 2502.08054v2 📥 PDF

作者: Jun Yamada, Alexander L. Mitchell, Jack Collins, Ingmar Posner

分类: cs.RO, cs.LG

发布日期: 2025-02-12 (更新: 2025-02-14)

备注: 14 pages, 11 figures, https://combo-grasp.github.io/

💡 一句话要点

提出COMBO-Grasp，解决双臂机器人遮挡环境下抓取问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 双臂机器人 遮挡抓取 强化学习 自监督学习 策略蒸馏 机器人操作 价值函数 策略协调

📋 核心要点

  1. 现有机器人操作方法难以应对遮挡环境下抓取的复杂性，强化学习方法面临任务复杂度挑战，模仿学习则需要大量专家演示。
  2. COMBO-Grasp利用双臂机器人，通过约束策略生成稳定姿势，抓取策略重新定向和抓取物体，实现协调操作。
  3. 实验结果表明，COMBO-Grasp显著提高了任务成功率，并在模拟和真实环境中成功泛化到未见过的物体。

📝 摘要（中文）

本文旨在解决遮挡机器人抓取问题，即由于环境约束（如表面碰撞）导致期望的抓取姿势在运动学上不可行的情况。传统的机器人操作方法难以应对人类在这种情况下常用的非预抓取或双臂策略的复杂性。最先进的强化学习（RL）方法由于任务的固有复杂性而不适用。相比之下，模仿学习需要收集大量专家演示，这通常是不可行的。因此，受到人类双臂操作策略的启发，即双手协调以稳定和重新定向物体，我们专注于双臂机器人设置来应对这一挑战。特别地，我们引入了基于约束的双臂遮挡抓取操作（COMBO-Grasp），这是一种基于学习的方法，它利用两个协调的策略：一个使用自监督数据集训练的约束策略，用于生成稳定姿势；以及一个使用RL训练的抓取策略，用于重新定向和抓取目标物体。一个关键的贡献在于价值函数引导的策略协调。具体来说，在抓取策略的RL训练期间，约束策略的输出通过联合训练的价值函数的梯度进行细化，从而提高双臂协调和任务性能。最后，COMBO-Grasp采用教师-学生策略蒸馏，以在真实环境中有效地部署基于点云的策略。经验评估表明，与有竞争力的基线方法相比，COMBO-Grasp显著提高了任务成功率，并在模拟和真实环境中成功泛化到未见过的物体。

🔬 方法详解

问题定义：论文旨在解决在存在遮挡物的情况下，机器人难以抓取目标物体的问题。传统方法难以处理这种复杂环境，而强化学习训练困难，模仿学习需要大量数据，因此需要一种更有效的方法来解决遮挡抓取问题。

核心思路：论文的核心思路是模仿人类双臂操作，利用一个手臂稳定物体，另一个手臂进行抓取。通过学习一个约束策略来生成稳定的姿势，并使用强化学习训练抓取策略，从而实现双臂协同操作。

技术框架：COMBO-Grasp包含两个主要模块：约束策略和抓取策略。约束策略通过自监督学习生成稳定姿势，抓取策略通过强化学习进行训练。在训练过程中，使用价值函数引导策略协调，提高双臂协同能力。最后，使用教师-学生策略蒸馏将策略部署到真实环境中。

关键创新：该方法最重要的创新点在于价值函数引导的策略协调。通过联合训练价值函数，并利用其梯度来优化约束策略的输出，从而提高双臂的协调性和任务性能。这种方法能够有效地利用两个策略的优势，实现更鲁棒的抓取。

关键设计：约束策略使用自监督学习，通过预测物体在不同姿势下的稳定性来训练。抓取策略使用强化学习，奖励函数设计鼓励抓取成功和避免碰撞。价值函数用于评估当前状态的价值，并用于指导策略协调。教师-学生策略蒸馏用于将模拟环境中训练的策略迁移到真实环境中，提高泛化能力。具体网络结构和参数设置在论文中有详细描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

COMBO-Grasp在模拟和真实环境中都取得了显著的成果。与基线方法相比，任务成功率显著提高，并且能够成功泛化到未见过的物体。具体性能数据未知，但论文强调了其在复杂环境下的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可应用于各种需要机器人进行复杂操作的场景，例如在拥挤的仓库中拣选物品、在杂乱的厨房中进行烹饪辅助、以及在医疗环境中进行手术辅助等。通过提高机器人在复杂环境下的操作能力，可以显著提高生产效率和服务质量。

📄 摘要（原文）

This paper addresses the challenge of occluded robot grasping, i.e. grasping in situations where the desired grasp poses are kinematically infeasible due to environmental constraints such as surface collisions. Traditional robot manipulation approaches struggle with the complexity of non-prehensile or bimanual strategies commonly used by humans in these circumstances. State-of-the-art reinforcement learning (RL) methods are unsuitable due to the inherent complexity of the task. In contrast, learning from demonstration requires collecting a significant number of expert demonstrations, which is often infeasible. Instead, inspired by human bimanual manipulation strategies, where two hands coordinate to stabilise and reorient objects, we focus on a bimanual robotic setup to tackle this challenge. In particular, we introduce Constraint-based Manipulation for Bimanual Occluded Grasping (COMBO-Grasp), a learning-based approach which leverages two coordinated policies: a constraint policy trained using self-supervised datasets to generate stabilising poses and a grasping policy trained using RL that reorients and grasps the target object. A key contribution lies in value function-guided policy coordination. Specifically, during RL training for the grasping policy, the constraint policy's output is refined through gradients from a jointly trained value function, improving bimanual coordination and task performance. Lastly, COMBO-Grasp employs teacher-student policy distillation to effectively deploy point cloud-based policies in real-world environments. Empirical evaluations demonstrate that COMBO-Grasp significantly improves task success rates compared to competitive baseline approaches, with successful generalisation to unseen objects in both simulated and real-world environments.