Learning Geometry-Aware Nonprehensile Pushing and Pulling with Dexterous Hands
作者: Yunshuang Li, Yiyang Ling, Gaurav S. Sukhatme, Daniel Seita
分类: cs.RO
发布日期: 2026-04-07
💡 一句话要点
提出GD2P，利用灵巧手学习几何感知的非抓取式推拉操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 灵巧手操作 非抓取式操作 推拉操作 几何感知 扩散模型 机器人学习 运动规划
📋 核心要点
- 现有非抓取操作主要依赖平行爪等工具，限制了操作的多样性和对复杂物体的适应性。
- GD2P通过学习预接触的灵巧手姿态来实现有效的推拉操作，利用扩散模型预测可行的手部姿态。
- 真实世界实验表明，GD2P能够使用不同的灵巧手生成有效的非抓取式操作运动。
📝 摘要（中文）
本文提出了一种名为Geometry-aware Dexterous Pushing and Pulling (GD2P) 的方法，用于使用灵巧机械手进行非抓取式操作，例如推和拉。与依赖平行爪夹具或工具的现有方法不同，多指灵巧手提供了更丰富的接触模式和通用性，能够处理各种物体并提供稳定的支撑。GD2P将推拉操作建模为合成和学习预接触的灵巧手姿态，从而实现有效的操作。该方法通过接触引导采样生成多样化的手部姿态，使用物理仿真过滤这些姿态，并训练一个以物体几何形状为条件的扩散模型来预测可行的姿态。在测试时，采样手部姿态并使用标准运动规划器来选择和执行推拉动作。通过使用Allegro Hand和LEAP Hand进行的大量真实世界实验表明，GD2P为生成灵巧的非抓取式操作运动提供了一种可扩展的途径，并且适用于不同的手部形态。
🔬 方法详解
问题定义：论文旨在解决如何利用灵巧手进行非抓取式推拉操作的问题。现有方法主要依赖平行爪等简单夹具，无法充分利用灵巧手的多自由度和丰富的接触模式，难以处理复杂形状或关系的物体。建模非抓取操作的动力学过程也十分困难。
核心思路：论文的核心思路是将推拉操作分解为预接触姿态的合成和学习。通过学习合适的预接触姿态，灵巧手可以在推拉过程中提供稳定的支撑，从而简化动力学建模的难度。利用物体几何信息作为条件，可以预测更有效的操作姿态。
技术框架：GD2P方法包含以下主要阶段：1) 通过接触引导采样生成多样化的手部姿态；2) 使用物理仿真过滤不稳定的姿态；3) 训练一个以物体几何形状为条件的扩散模型，用于预测可行的手部姿态；4) 在测试时，从扩散模型中采样手部姿态，并使用标准运动规划器选择和执行推拉动作。
关键创新：该方法最重要的创新点在于利用扩散模型学习物体几何形状与灵巧手姿态之间的关系，从而能够预测适用于不同物体的有效操作姿态。与传统的基于规则或优化的方法相比，该方法具有更强的泛化能力和适应性。
关键设计：扩散模型以物体几何形状作为条件输入，预测灵巧手的关节角度。损失函数包括姿态的稳定性损失、操作的有效性损失等。物理仿真用于评估姿态的稳定性，并过滤掉不稳定的姿态。运动规划器用于生成从当前姿态到目标姿态的平滑轨迹。
🖼️ 关键图片
📊 实验亮点
论文在真实世界中进行了大量实验，使用Allegro Hand和LEAP Hand验证了GD2P方法的有效性。实验结果表明，GD2P能够成功生成适用于不同手部形态的非抓取式操作运动。项目网站提供了实验视频和更多细节。
🎯 应用场景
该研究成果可应用于自动化装配、物流分拣、家庭服务机器人等领域。例如，机器人可以利用灵巧手进行非抓取式操作，移动或调整难以抓取的物体，提高工作效率和灵活性。未来，该技术有望扩展到更复杂的非抓取式操作，例如对柔性物体的操作。
📄 摘要（原文）
Nonprehensile manipulation, such as pushing and pulling, enables robots to move, align, or reposition objects that may be difficult to grasp due to their geometry, size, or relationship to the robot or the environment. Much of the existing work in nonprehensile manipulation relies on parallel-jaw grippers or tools such as rods and spatulas. In contrast, multi-fingered dexterous hands offer richer contact modes and versatility for handling diverse objects to provide stable support over the objects, which compensates for the difficulty of modeling the dynamics of nonprehensile manipulation. Therefore, we propose Geometry-aware Dexterous Pushing and Pulling(GD2P) for nonprehensile manipulation with dexterous robotic hands. We study pushing and pulling by framing the problem as synthesizing and learning pre-contact dexterous hand poses that lead to effective manipulation. We generate diverse hand poses via contact-guided sampling, filter them using physics simulation, and train a diffusion model conditioned on object geometry to predict viable poses. At test time, we sample hand poses and use standard motion planners to select and execute pushing and pulling actions. We perform extensive real-world experiments with an Allegro Hand and a LEAP Hand, demonstrating that GD2P offers a scalable route for generating dexterous nonprehensile manipulation motions with its applicability to different hand morphologies. Our project website is available at:this http URL.