Teaching Unknown Objects by Leveraging Human Gaze and Augmented Reality in Human-Robot Interaction

📄 arXiv: 2312.07638v1 📥 PDF

作者: Daniel Weber

分类: cs.HC, cs.AI, cs.CV, cs.RO

发布日期: 2023-12-12

备注: PhD Thesis, University of Tübingen

DOI: 10.15496/publikation-89953

💡 一句话要点

结合人类视线追踪与增强现实，实现人机交互中未知物体的教学。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 眼动追踪 增强现实 物体识别 机器人学习

📋 核心要点

  1. 现有机器人物体检测模型依赖大量预训练数据，难以适应未知环境和新物体，限制了其通用性。
  2. 该研究提出一种基于人机交互的教学方法，利用眼动追踪和增强现实技术，使人类教师能够轻松地教会机器人识别新物体。
  3. 实验结果表明，该方法使机器人具备了与先进物体检测器相当的性能，且无需预训练，提高了机器人的适应性。

📝 摘要（中文）

由于卓越的工作能力、精度、效率和可扩展性，机器人正变得越来越受欢迎。人工智能，特别是机器学习的进步，进一步推动了这一发展。通过使用复杂的神经网络，机器人能够检测和与其周围的物体交互。然而，一个显著的缺点是其对大量数据集和训练数据的依赖。当机器人的具体部署位置和环境事先未知时，这个问题尤其突出。本文旨在通过人机交互（HRI）教会机器人识别未知物体，使其摆脱数据依赖，不再受限于预定义场景。通过结合眼动追踪和增强现实技术，创建了一种强大的协同作用，使人类教师能够与机器人交流，并通过视线轻松指出物体。这种整体方法促成了一个多模态人机交互系统的开发，该系统使机器人能够识别和在3D空间中分割感兴趣的物体。通过人类提供的类别信息，机器人能够学习这些物体并在以后重新检测它们。通过这种基于人机交互的教学所获得的知识，机器人的物体检测能力表现出与在大型数据集上训练的先进物体检测器相当的性能，且不受限于预定义的类别，展示了其通用性和适应性。

🔬 方法详解

问题定义：现有机器人物体检测模型严重依赖于预先准备的大规模数据集，这使得它们难以适应新的环境和未知的物体。当机器人的部署环境事先未知时，收集足够覆盖所有可能物体的训练数据变得非常困难，限制了机器人在实际场景中的应用。因此，如何让机器人在没有人为干预的情况下，快速学习并识别新的物体是一个亟待解决的问题。

核心思路：该论文的核心思路是利用人机交互（HRI）的方式，让人类教师通过自然的方式（视线追踪和增强现实）引导机器人学习新的物体。通过人类的视线，机器人可以准确地定位感兴趣的物体，并结合人类提供的类别信息，建立对新物体的认知。这种方法模拟了人类学习新事物的过程，避免了对大规模数据集的依赖。

技术框架：该人机交互系统主要包含以下几个模块：1) 眼动追踪模块，用于捕捉人类教师的视线；2) 增强现实模块，用于在人类教师的视野中叠加虚拟信息，辅助教学；3) 机器人视觉感知模块，用于从机器人自身的摄像头中获取图像，并进行物体分割和识别；4) 人机交互接口，用于实现人类教师与机器人之间的信息交流。整个流程是：人类教师通过佩戴眼动追踪设备和AR眼镜，注视感兴趣的物体，并将物体的类别信息传递给机器人。机器人根据人类的视线定位物体，并利用视觉感知模块分割物体，最终学习到新的物体类别。

关键创新：该论文最重要的创新点在于将眼动追踪和增强现实技术结合起来，用于人机交互中的物体教学。这种方法使得人类教师能够以一种非常自然和直观的方式与机器人进行交流，避免了复杂的编程或手动标注过程。此外，该方法还能够让机器人学习到新的物体类别，而无需重新训练整个物体检测模型。

关键设计：论文中并没有详细描述具体的网络结构或损失函数，但可以推断，视觉感知模块可能采用了某种基于深度学习的物体分割或识别模型。关键的设计在于如何将人类的视线信息与机器人的视觉感知信息融合起来，以实现对感兴趣物体的准确分割和识别。此外，如何设计一个友好的人机交互界面，使得人类教师能够轻松地提供类别信息，也是一个重要的设计考虑。

📊 实验亮点

该研究表明，通过人机交互教学，机器人能够以与在大型数据集上训练的先进物体检测器相当的性能识别物体，而无需依赖预定义的类别。这意味着该方法在没有大量预训练数据的情况下，也能使机器人具备强大的物体识别能力，极大地提高了机器人的灵活性和适应性。具体的性能数据和对比基线在摘要中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于各种人机协作场景，例如：在智能制造领域，机器人可以快速学习新的零件和工具；在家庭服务领域，机器人可以学习识别新的家居用品；在医疗领域，机器人可以学习识别新的医疗器械。该研究有助于提高机器人的智能化水平和适应性，促进人机协作的广泛应用。

📄 摘要（原文）

Robots are becoming increasingly popular in a wide range of environments due to their exceptional work capacity, precision, efficiency, and scalability. This development has been further encouraged by advances in Artificial Intelligence, particularly Machine Learning. By employing sophisticated neural networks, robots are given the ability to detect and interact with objects in their vicinity. However, a significant drawback arises from the underlying dependency on extensive datasets and the availability of substantial amounts of training data for these object detection models. This issue becomes particularly problematic when the specific deployment location of the robot and the surroundings, are not known in advance. The vast and ever-expanding array of objects makes it virtually impossible to comprehensively cover the entire spectrum of existing objects using preexisting datasets alone. The goal of this dissertation was to teach a robot unknown objects in the context of Human-Robot Interaction (HRI) in order to liberate it from its data dependency, unleashing it from predefined scenarios. In this context, the combination of eye tracking and Augmented Reality created a powerful synergy that empowered the human teacher to communicate with the robot and effortlessly point out objects by means of human gaze. This holistic approach led to the development of a multimodal HRI system that enabled the robot to identify and visually segment the Objects of Interest in 3D space. Through the class information provided by the human, the robot was able to learn the objects and redetect them at a later stage. Due to the knowledge gained from this HRI based teaching, the robot's object detection capabilities exhibited comparable performance to state-of-the-art object detectors trained on extensive datasets, without being restricted to predefined classes, showcasing its versatility and adaptability.