Adaptive Whole-body Robotic Tool-use Learning on Low-rigidity Plastic-made Humanoids Using Vision and Tactile Sensors
作者: Kento Kawaharazuka, Kei Okada, Masayuki Inaba
分类: cs.RO
发布日期: 2024-05-08
备注: Accepted at ICRA2024, website - https://haraduka.github.io/wholebody-tooluse/
DOI: 10.1109/ICRA57147.2024.10610913
💡 一句话要点
提出一种基于视觉和触觉的自适应全身工具使用学习方法，用于低刚度人形机器人。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 低刚度机器人 工具使用学习 视觉触觉融合 神经网络 参数化偏置
📋 核心要点
- 现有方法难以有效建模低刚度机器人在工具使用中因身体形变导致的工具末端位置和重心变化。
- 提出一种基于视觉和触觉信息的神经网络学习方法，结合参数化偏置来适应不同重量和长度的工具。
- 在低刚度塑料人形机器人KXR上验证了该方法的有效性，实现了全身工具使用。
📝 摘要（中文）
针对低刚度机器人，特别是塑料制人形机器人，在工具使用过程中因抓取物体导致的身体形变问题，提出了一种新的学习方法。这种形变会引起工具末端位置和机器人重心的显著变化，并且随着工具的重量和长度而变化，使得建模变得异常复杂。本研究提出了一种构建神经网络的方法，该网络描述了关节角度、视觉信息和来自足部的触觉信息之间的相互关系。通过实际机器人数据训练该网络，并将其用于工具末端控制。此外，采用参数化偏置来捕捉由工具重量和长度变化引起的这种相互关系的变化，从而能够从当前的传感器信息中理解所抓取工具的特性。该方法应用于KXR（一种低刚度塑料制人形机器人）的全身工具使用，以验证其有效性。
🔬 方法详解
问题定义：论文旨在解决低刚度人形机器人在工具使用过程中，由于身体形变导致工具末端位置难以精确控制的问题。现有方法难以有效建模这种形变，尤其是在工具重量和长度变化时，模型复杂度会显著增加。这种形变不仅影响工具末端的位置，还会影响机器人的重心，进一步增加了控制的难度。
核心思路：论文的核心思路是构建一个神经网络，该网络能够学习关节角度、视觉信息和触觉信息之间的相互关系。通过学习这种关系，网络能够预测在不同工具和不同姿态下，机器人身体的形变情况，从而实现对工具末端位置的精确控制。此外，通过引入参数化偏置，网络能够适应不同重量和长度的工具，从而提高泛化能力。
技术框架：整体框架包含数据采集、神经网络训练和工具末端控制三个主要阶段。首先，通过机器人上的传感器（视觉、触觉、关节角度）采集数据。然后，使用采集到的数据训练神经网络，该网络以关节角度、视觉信息和触觉信息作为输入，输出工具末端的位置。最后，使用训练好的神经网络进行工具末端控制，通过调整关节角度来达到期望的工具末端位置。参数化偏置模块被集成到神经网络中，用于适应不同工具的特性。
关键创新：该方法最重要的创新点在于将视觉和触觉信息融合到神经网络中，用于建模低刚度机器人的身体形变。传统的控制方法通常依赖于精确的机器人模型，但在低刚度机器人上，这种模型很难建立。通过学习传感器数据之间的关系，该方法能够避免对机器人进行精确建模，从而简化了控制过程。参数化偏置的使用也使得网络能够适应不同工具的特性，提高了泛化能力。
关键设计：论文中神经网络的具体结构未知，但可以推测其输入层包含关节角度、视觉特征和触觉信息，输出层为工具末端的位置。损失函数可能包含工具末端位置的误差项，以及正则化项，用于防止过拟合。参数化偏置的具体实现方式未知，但可以推测其可能是一个小的神经网络，以工具的重量和长度作为输入，输出偏置项，用于调整主网络的输出。
🖼️ 关键图片
📊 实验亮点
论文在KXR低刚度人形机器人上验证了该方法的有效性，但具体的性能数据（例如工具末端位置的控制精度、与基线方法的对比等）未知。实验结果表明，该方法能够实现全身工具使用，并且能够适应不同重量和长度的工具。具体的提升幅度未知。
🎯 应用场景
该研究成果可应用于各种需要低刚度机器人进行精细操作的场景，例如医疗手术、柔性装配、以及在复杂环境中进行操作。通过自适应学习，机器人能够更好地适应不同的工具和环境，提高操作的精度和效率。未来，该技术有望应用于更广泛的机器人领域，例如服务机器人和灾难救援机器人。
📄 摘要（原文）
Various robots have been developed so far; however, we face challenges in modeling the low-rigidity bodies of some robots. In particular, the deflection of the body changes during tool-use due to object grasping, resulting in significant shifts in the tool-tip position and the body's center of gravity. Moreover, this deflection varies depending on the weight and length of the tool, making these models exceptionally complex. However, there is currently no control or learning method that takes all of these effects into account. In this study, we propose a method for constructing a neural network that describes the mutual relationship among joint angle, visual information, and tactile information from the feet. We aim to train this network using the actual robot data and utilize it for tool-tip control. Additionally, we employ Parametric Bias to capture changes in this mutual relationship caused by variations in the weight and length of tools, enabling us to understand the characteristics of the grasped tool from the current sensor information. We apply this approach to the whole-body tool-use on KXR, a low-rigidity plastic-made humanoid robot, to validate its effectiveness.