A Learning-based Controller for Multi-Contact Grasps on Unknown Objects with a Dexterous Hand
作者: Dominik Winkelbauer, Rudolph Triebel, Berthold Bäuml
分类: cs.RO
发布日期: 2024-09-18
备注: 7 pages, 10 figures, Accepted at International Conference on Intelligent Robots and Systems (IROS) 2024
💡 一句话要点
提出一种基于学习的多接触抓取控制器，用于灵巧手抓取未知物体
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 灵巧手控制 多接触抓取 深度学习 力估计 扭矩预测 机器人操作 阻抗控制
📋 核心要点
- 现有抓取控制器通常只支持指尖抓取或需要显式配置内力，限制了其通用性和鲁棒性。
- 提出一种基于学习的抓取控制器，通过力估计和扭矩预测神经网络，实现对未知物体的多接触稳定抓取。
- 实验表明，该控制器在仿真和真实机器人上均表现良好，能有效抵抗外部干扰并保持抓取稳定性。
📝 摘要（中文）
本文提出了一种新型抓取控制器，它支持包括多接触力抓取在内的任意抓取类型，并且能够自主地操作之前未见过的物体。该控制器只需要一个粗略的3D模型（例如，从单个深度图像重建的），而不需要详细的接触信息。首先，通过测量关节处的扭矩来估计施加在物体上的外部力。然后，预测抵消估计的力并保持物体在其初始姿势所需的扭矩。这些扭矩通过期望的关节角度传递到底层的关节级阻抗控制器。为了达到实时性能，本文提出了一种基于学习的方法，该方法基于力估计器和扭矩预测器神经网络。这两个网络都以监督方式进行训练，使用通过控制器的解析公式生成的数据。在广泛的基于仿真的评估中，结果表明，当施加高达10N的外部力时，该控制器能够保持83.1%的测试抓取的稳定性。同时，该控制器比两个测试的基线更有效，并且引起的非自愿物体移动更少。最后，实验表明该控制器也可以在真实的DLR-Hand II上工作，达到6ms的循环时间。
🔬 方法详解
问题定义：现有抓取控制器要么仅支持指尖抓取，要么需要手动配置内力，这使得它们难以处理复杂的抓取任务，尤其是在处理未知物体时。缺乏对多接触抓取的支持和对外部扰动的鲁棒性是主要痛点。
核心思路：本文的核心思路是利用学习方法来估计外部力并预测所需的关节扭矩，从而实现对未知物体的稳定抓取。通过神经网络学习控制器参数，避免了手动设计和调整的复杂性，提高了控制器的泛化能力和鲁棒性。
技术框架：该控制器包含以下主要模块：1) 力估计器：使用神经网络根据关节扭矩估计施加在物体上的外部力。2) 扭矩预测器：使用另一个神经网络预测抵消估计的力并保持物体姿势所需的关节扭矩。3) 关节级阻抗控制器：将预测的扭矩转换为期望的关节角度，并控制机器人手的关节运动。整个流程是闭环的，可以实时调整控制器的输出以应对外部扰动。
关键创新：该方法最重要的创新点在于使用学习方法来解决多接触抓取控制问题。与传统的基于模型的控制器相比，该方法不需要详细的物体模型和接触信息，只需要一个粗略的3D模型。此外，通过神经网络的学习能力，该控制器可以适应不同的物体形状和外部扰动，提高了抓取的鲁棒性和泛化能力。
关键设计：力估计器和扭矩预测器都是神经网络，其结构和参数需要仔细设计。论文中使用监督学习来训练这两个网络，训练数据是通过控制器的解析公式生成的。损失函数的设计需要考虑抓取的稳定性和精度。此外，关节级阻抗控制器的参数也需要仔细调整，以保证机器人的运动平稳和精确。
🖼️ 关键图片
📊 实验亮点
在仿真实验中，该控制器能够保持83.1%的测试抓取在施加高达10N的外部力时保持稳定。与两个基线方法相比，该控制器更有效，并且引起的非自愿物体移动更少。在真实的DLR-Hand II机器人手上，该控制器能够达到6ms的循环时间，表明其具有实时性。
🎯 应用场景
该研究成果可应用于各种需要灵巧手进行抓取操作的场景，例如：工业自动化中的零件装配、医疗机器人中的手术辅助、家庭服务机器人中的物品整理等。该控制器能够处理未知物体，并具有较强的鲁棒性，使其在动态和不确定的环境中具有广泛的应用前景。未来的研究可以进一步探索如何将该控制器与其他感知和规划模块集成，实现更高级的机器人操作任务。
📄 摘要（原文）
Existing grasp controllers usually either only support finger-tip grasps or need explicit configuration of the inner forces. We propose a novel grasp controller that supports arbitrary grasp types, including power grasps with multi-contacts, while operating self-contained on before unseen objects. No detailed contact information is needed, but only a rough 3D model, e.g., reconstructed from a single depth image. First, the external wrench being applied to the object is estimated by using the measured torques at the joints. Then, the torques necessary to counteract the estimated wrench while keeping the object at its initial pose are predicted. The torques are commanded via desired joint angles to an underlying joint-level impedance controller. To reach real-time performance, we propose a learning-based approach that is based on a wrench estimator- and a torque predictor neural network. Both networks are trained in a supervised fashion using data generated via the analytical formulation of the controller. In an extensive simulation-based evaluation, we show that our controller is able to keep 83.1% of the tested grasps stable when applying external wrenches with up to 10N. At the same time, we outperform the two tested baselines by being more efficient and inducing less involuntary object movement. Finally, we show that the controller also works on the real DLR-Hand II, reaching a cycle time of 6ms.