Learning Dual-Arm Push and Grasp Synergy in Dense Clutter
作者: Yongliang Wang, Hamidreza Kasaei
分类: cs.RO
发布日期: 2024-12-05 (更新: 2025-04-02)
💡 一句话要点
提出一种目标导向的分层深度强化学习框架，解决密集杂乱环境中双臂协同推抓取问题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 双臂协同 推抓取 深度强化学习 目标导向 密集杂乱环境
📋 核心要点
- 现有单臂系统难以充分利用双臂协同的优势，在密集杂乱环境中抓取物体面临挑战。
- 提出一种目标导向的分层深度强化学习框架，学习双臂推抓取协同策略，提升操作能力。
- 在模拟和真实机器人上的实验表明，该方法能有效完成复杂环境中的抓取任务，优于其他方法。
📝 摘要（中文）
本文提出了一种目标导向的分层深度强化学习（DRL）框架，用于学习双臂推抓取协同策略，以增强在密集杂乱环境中抓取物体的灵巧操作能力。该框架通过预训练的深度学习骨干网络和一个基于CNN的新型DRL模型将视觉观察映射到动作，该DRL模型使用近端策略优化（PPO）进行训练，以开发双臂推抓取策略。骨干网络增强了在密集杂乱环境中的特征映射。引入了一种新的基于模糊逻辑的奖励函数，以加速高效的策略学习。该系统在Isaac Gym中开发和训练，然后在模拟和真实机器人上进行测试。实验结果表明，该框架有效地将视觉数据映射到双臂推抓取运动，使双臂系统能够在复杂环境中抓取目标物体。与其他方法相比，我们的方法生成6自由度抓取候选，并实现双臂推的动作，模仿人类行为。结果表明，我们的方法能够有效地完成密集杂乱环境中的任务。
🔬 方法详解
问题定义：论文旨在解决密集杂乱环境中机器人双臂抓取目标物体的问题。现有方法，特别是基于单臂的系统，难以充分利用双臂协同的优势，导致在拥挤环境中抓取成功率较低。此外，现有方法通常难以生成有效的推的动作，无法像人类一样通过推开障碍物来创造抓取空间。
核心思路：论文的核心思路是利用深度强化学习（DRL）学习双臂协同的推抓取策略。通过模仿人类行为，系统能够学习如何利用双臂进行推的动作，从而清理目标物体周围的障碍物，创造更好的抓取条件。目标导向的分层结构使得系统能够更有效地探索和学习复杂的动作序列。
技术框架：该框架包含一个预训练的深度学习骨干网络和一个基于CNN的DRL模型。骨干网络负责从视觉输入中提取特征，DRL模型则根据提取的特征生成双臂的动作指令，包括推和抓取。整个训练过程使用近端策略优化（PPO）算法。系统在Isaac Gym中进行训练，并在模拟和真实机器人上进行测试。
关键创新：论文的关键创新在于：1) 提出了一种双臂协同的推抓取策略，能够有效地清理杂乱环境；2) 引入了一种目标导向的分层DRL框架，提高了学习效率；3) 设计了一种基于模糊逻辑的奖励函数，加速了策略学习。
关键设计：骨干网络采用预训练的深度学习模型，以增强特征提取能力。DRL模型使用CNN结构，以处理视觉输入。奖励函数的设计考虑了目标物体的接近程度、推的动作的有效性以及抓取的成功率，并使用模糊逻辑进行融合。PPO算法用于优化策略，平衡探索和利用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在密集杂乱环境中能够有效地抓取目标物体，相比于其他方法，抓取成功率显著提高。该方法能够生成6自由度的抓取候选，并实现双臂推的动作，更接近人类的操作方式。在模拟和真实机器人上的实验验证了该方法的有效性和泛化能力。
🎯 应用场景
该研究成果可应用于自动化仓库、智能制造、家庭服务机器人等领域。通过双臂协同操作，机器人能够在复杂、拥挤的环境中高效地完成物品拣选、装配等任务。未来，该技术有望进一步扩展到医疗、救援等领域，提升机器人在复杂环境下的作业能力。
📄 摘要（原文）
Robotic grasping in densely cluttered environments is challenging due to scarce collision-free grasp affordances. Non-prehensile actions can increase feasible grasps in cluttered environments, but most research focuses on single-arm rather than dual-arm manipulation. Policies from single-arm systems fail to fully leverage the advantages of dual-arm coordination. We propose a target-oriented hierarchical deep reinforcement learning (DRL) framework that learns dual-arm push-grasp synergy for grasping objects to enhance dexterous manipulation in dense clutter. Our framework maps visual observations to actions via a pre-trained deep learning backbone and a novel CNN-based DRL model, trained with Proximal Policy Optimization (PPO), to develop a dual-arm push-grasp strategy. The backbone enhances feature mapping in densely cluttered environments. A novel fuzzy-based reward function is introduced to accelerate efficient strategy learning. Our system is developed and trained in Isaac Gym and then tested in simulations and on a real robot. Experimental results show that our framework effectively maps visual data to dual push-grasp motions, enabling the dual-arm system to grasp target objects in complex environments. Compared to other methods, our approach generates 6-DoF grasp candidates and enables dual-arm push actions, mimicking human behavior. Results show that our method efficiently completes tasks in densely cluttered environments. https://sites.google.com/view/pg4da/home