Learning Geometry-Aware Nonprehensile Pushing and Pulling with Dexterous Hands
作者: Yunshuang Li, Yiyang Ling, Gaurav S. Sukhatme, Daniel Seita
分类: cs.RO
发布日期: 2025-09-22 (更新: 2025-10-05)
备注: Typos corrected
💡 一句话要点
提出几何感知的灵巧推拉方法以解决非抓握操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 非抓握操作 灵巧手 几何感知 推拉操作 机器人技术 物理仿真 扩散模型
📋 核心要点
- 现有的非抓握操作方法主要依赖于平行夹爪或简单工具，难以处理复杂几何形状的物体。
- 本文提出几何感知灵巧推拉（GD2P）方法，通过学习接触前的手姿态来实现有效的非抓握操作。
- 在840次真实实验中，GD2P相较于基线方法表现出显著的提升，展示了其在不同手形态下的适用性。
📝 摘要（中文）
非抓握操作（如推和拉）使机器人能够移动、对齐或重新定位由于几何形状、大小或与环境的关系而难以抓握的物体。现有的非抓握操作大多依赖于平行夹爪或工具，而多指灵巧手则提供了更丰富的接触模式和处理多样物体的能力。本文提出几何感知灵巧推拉（GD2P）方法，通过合成和学习接触前的灵巧手姿态来实现有效的非抓握操作。我们通过接触引导采样生成多样的手姿态，并利用物理仿真进行筛选，训练一个基于物体几何的扩散模型来预测可行的姿态。实验结果表明，GD2P为灵巧非抓握操作策略的训练提供了可扩展的途径。
🔬 方法详解
问题定义：本文旨在解决灵巧手在非抓握操作中如何有效推拉物体的问题。现有方法多依赖于简单的夹具，难以适应复杂物体的几何特征。
核心思路：提出几何感知灵巧推拉（GD2P）方法，通过学习接触前的手姿态来实现有效的非抓握操作，利用多指手的灵活性来补偿动态建模的复杂性。
技术框架：整体流程包括接触引导采样生成多样的手姿态，通过物理仿真进行筛选，并训练一个基于物体几何的扩散模型来预测可行的手姿态。测试时，采样手姿态并使用标准运动规划器选择和执行推拉动作。
关键创新：GD2P的核心创新在于结合几何信息和灵巧手的多样接触模式，显著提升了非抓握操作的灵活性和有效性，与传统方法相比具有本质区别。
关键设计：在模型训练中，采用了接触引导的采样策略，利用物理仿真进行姿态筛选，并设计了基于物体几何的扩散模型，确保生成的手姿态在实际操作中的可行性。
🖼️ 关键图片
📊 实验亮点
在840次真实实验中，GD2P方法相比于基线方法在推拉操作的成功率上有显著提升，展示了其在不同手形态下的适用性和可扩展性。实验结果表明，GD2P为灵巧非抓握操作策略的训练提供了有效的解决方案。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提高机器人在复杂环境中处理物体的能力，GD2P方法有望推动智能机器人在实际应用中的广泛使用，提升其操作灵活性和效率。
📄 摘要（原文）
Nonprehensile manipulation, such as pushing and pulling, enables robots to move, align, or reposition objects that may be difficult to grasp due to their geometry, size, or relationship to the robot or the environment. Much of the existing work in nonprehensile manipulation relies on parallel-jaw grippers or tools such as rods and spatulas. In contrast, multi-fingered dexterous hands offer richer contact modes and versatility for handling diverse objects to provide stable support over the objects, which compensates for the difficulty of modeling the dynamics of nonprehensile manipulation. Therefore, we propose Geometry-aware Dexterous Pushing and Pulling (GD2P) for nonprehensile manipulation with dexterous robotic hands. We study pushing and pulling by framing the problem as synthesizing and learning pre-contact dexterous hand poses that lead to effective manipulation. We generate diverse hand poses via contact-guided sampling, filter them using physics simulation, and train a diffusion model conditioned on object geometry to predict viable poses. At test time, we sample hand poses and use standard motion planners to select and execute pushing and pulling actions. We perform 840 real-world experiments with an Allegro Hand, comparing our method to baselines. The results indicate that GD2P offers a scalable route for training dexterous nonprehensile manipulation policies. We further demonstrate GD2P on a LEAP Hand, highlighting its applicability to different hand morphologies. Our pre-trained models and dataset, including 1.3 million hand poses across 2.3k objects, will be open-source to facilitate further research. Our project website is available at: geodex2p.github.io.