Learning secondary tool affordances of human partners using iCub robot's egocentric data

作者: Bosong Ding, Erhan Oztop, Giacomo Spigler, Murat Kirtay

分类: cs.RO, cs.LG

发布日期: 2024-07-16

💡 一句话要点

iCub机器人通过观察学习人类伙伴工具的次要用途，促进人机协作。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人机协作 工具用途学习 深度学习 机器人视觉 观察学习

📋 核心要点

1. 现有研究主要集中于工具的主要用途，而忽略了工具的次要用途，这限制了人机协作的灵活性。
2. 该研究利用iCub机器人观察人类使用工具的非典型方式，通过深度学习模型学习工具的次要用途。
3. 实验结果表明，训练后的模型能够有效预测工具的次要用途，为更复杂的人机协作奠定基础。

📝 摘要（中文）

本文研究了人类伙伴工具的次要用途学习问题，即工具超出其主要用途之外的辅助使用方式。作者使用iCub机器人，通过三个摄像头观察人类伙伴使用四种不同的工具对二十个物体执行动作。人类伙伴使用工具执行的动作与其主要用途不符，例如，使用尺子进行推、拉和移动物体，而不是测量长度。研究人员构建了一个数据集，包含物体在每个动作执行前后的图像。然后，通过训练三个神经网络（ResNet-18、ResNet-50和ResNet-101）来模拟次要用途学习，输入是显示物体“初始”和“最终”位置的原始图像，并执行三个任务：（1）预测用于移动物体的工具，（2）预测使用的工具以及编码执行动作的附加分类输入，（3）联合预测使用的工具和执行的动作。结果表明，深度学习架构使iCub机器人能够预测工具的次要用途，从而为涉及复杂用途的人机协作物体操作铺平了道路。

🔬 方法详解

问题定义：论文旨在解决机器人如何理解和学习人类使用工具的次要用途（secondary affordances）的问题。现有方法主要关注工具的主要用途，忽略了工具的多种使用方式，这使得机器人在与人类协作时难以理解人类的意图和行为。例如，人类可能会用尺子推东西而不是测量长度，机器人需要理解这种非典型的用法。

核心思路：论文的核心思路是让iCub机器人通过观察人类使用工具的过程来学习工具的次要用途。机器人通过摄像头捕捉物体在动作前后的图像，然后利用深度学习模型来预测所使用的工具和执行的动作。这种方法模拟了人类通过观察学习新技能的方式，使机器人能够理解工具的多种可能性。

技术框架：整体框架包括数据采集和模型训练两个主要阶段。在数据采集阶段，iCub机器人使用三个摄像头观察人类使用四种工具对二十个物体执行动作，记录物体在动作前后的图像。在模型训练阶段，使用ResNet-18、ResNet-50和ResNet-101三种神经网络，输入是物体动作前后的图像，输出是预测使用的工具和执行的动作。模型训练包括三个任务：预测使用的工具、预测使用的工具和动作（分别预测和联合预测）。

关键创新：该研究的关键创新在于关注了工具的次要用途学习问题，并提出了一种基于观察学习的方法。与以往主要关注工具主要用途的研究不同，该研究使机器人能够理解工具的多种使用方式，从而提高了人机协作的灵活性和效率。此外，使用深度学习模型直接从图像中学习工具的次要用途，避免了手动设计特征的复杂性。

关键设计：实验中使用了三种不同的ResNet网络结构（ResNet-18, ResNet-50, ResNet-101）来评估模型的性能。输入数据是物体在动作前后的原始图像，没有进行额外的预处理。模型训练使用了交叉熵损失函数来优化分类任务。对于联合预测任务，使用了多任务学习的方法，同时优化工具和动作的预测。

🖼️ 关键图片

📊 实验亮点

实验结果表明，深度学习模型能够有效预测工具的次要用途。在预测使用工具的任务中，ResNet-101取得了最佳性能。联合预测工具和动作的任务也取得了较好的结果，表明模型能够同时学习工具和动作之间的关系。这些结果验证了该方法的可行性，并为进一步研究人机协作提供了有力的支持。

🎯 应用场景

该研究成果可应用于人机协作机器人、智能制造、康复机器人等领域。通过学习工具的次要用途，机器人可以更好地理解人类的意图，从而更有效地与人类协作完成任务。例如，在智能制造中，机器人可以根据工人的操作习惯，灵活地使用工具，提高生产效率。在康复机器人领域，机器人可以辅助患者进行康复训练，并根据患者的实际情况调整训练方案。

📄 摘要（原文）

Objects, in particular tools, provide several action possibilities to the agents that can act on them, which are generally associated with the term of affordances. A tool is typically designed for a specific purpose, such as driving a nail in the case of a hammer, which we call as the primary affordance. A tool can also be used beyond its primary purpose, in which case we can associate this auxiliary use with the term secondary affordance. Previous work on affordance perception and learning has been mostly focused on primary affordances. Here, we address the less explored problem of learning the secondary tool affordances of human partners. To do this, we use the iCub robot to observe human partners with three cameras while they perform actions on twenty objects using four different tools. In our experiments, human partners utilize tools to perform actions that do not correspond to their primary affordances. For example, the iCub robot observes a human partner using a ruler for pushing, pulling, and moving objects instead of measuring their lengths. In this setting, we constructed a dataset by taking images of objects before and after each action is executed. We then model learning secondary affordances by training three neural networks (ResNet-18, ResNet-50, and ResNet-101) each on three tasks, using raw images showing the initial' andfinal' position of objects as input: (1) predicting the tool used to move an object, (2) predicting the tool used with an additional categorical input that encoded the action performed, and (3) joint prediction of both tool used and action performed. Our results indicate that deep learning architectures enable the iCub robot to predict secondary tool affordances, thereby paving the road for human-robot collaborative object manipulation involving complex affordances.