Shared Affordance-awareness via Augmented Reality for Proactive Assistance in Human-robot Collaboration

📄 arXiv: 2312.13410v1 📥 PDF

作者: Drake Moore, Mark Zolotas, Taskin Padir

分类: cs.RO, cs.HC

发布日期: 2023-12-20

💡 一句话要点

提出基于增强现实的共享可供性感知框架，用于人机协作中的主动辅助

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人机协作 增强现实 可供性感知 服务机器人 主动辅助

📋 核心要点

  1. 现有的人机协作方法在机器人自主决策中融入了人类可供性知识，但机器人自主完成任务的能力仍有不足。
  2. 该论文提出一个基于增强现实的框架，通过共享可供性感知表示，弥合辅助机器人的能力差距，实现人机主动协作。
  3. 通过家庭清洁任务实验，展示了该框架的潜力，验证了利用AR界面进行人机可供性交流和辅助请求的可行性。

📝 摘要（中文）

为了使人类和机器人能够有效地协作，需要有目的的沟通和对彼此可供性的理解。先前在人机协作方面的工作已经将人类可供性的知识，即他们在当前环境中的行动可能性，纳入到自主机器人决策中。这种“可供性感知”对于需要知道何时以及如何帮助无法独立完成任务的人的服务机器人来说尤其有希望。然而，机器人在自主执行许多常见任务方面仍然不足。在这项进行中的工作中，我们提出了一个增强现实（AR）框架，通过共享的可供性感知表示来积极地与人类互动，从而弥合了辅助机器人的能力差距。利用佩戴AR头显的人类和机器人配备的传感器提供的不同视角，我们可以构建共享环境的感知表示，并对各自代理人的可供性区域进行建模。AR界面还可以允许两个代理人相互交流可供性，以及在尝试执行超出其可供性区域的动作时提示寻求帮助。本文介绍了所提出的框架的主要组成部分，并通过家庭清洁任务实验讨论了其潜力。

🔬 方法详解

问题定义：现有的人机协作系统，尽管已经开始关注人类的可供性（affordance），但机器人在许多日常任务中的自主能力仍然有限。机器人难以理解人类的意图，也无法有效地与人类沟通自身的能力限制，导致协作效率低下。因此，如何让机器人更好地理解人类的可供性，并在自身能力不足时主动寻求人类的帮助，是本文要解决的关键问题。

核心思路：本文的核心思路是利用增强现实（AR）技术，构建一个共享的可供性感知平台。通过AR头显，人类可以直观地了解机器人的能力范围，而机器人则可以通过传感器感知人类的行为和环境，从而建立对彼此可供性的共同理解。当机器人尝试执行超出自身能力范围的任务时，可以通过AR界面向人类请求帮助。

技术框架：该框架包含以下几个主要模块：1) 环境感知模块：利用机器人和AR头显的传感器（如摄像头、深度传感器）获取环境信息，构建环境的3D模型。2) 可供性建模模块：基于环境模型和代理人的自身能力，对人类和机器人的可供性区域进行建模。3) AR交互模块：通过AR头显，将机器人的可供性信息可视化地呈现给人类，并允许人类向机器人发送指令或提供帮助。4) 决策模块：机器人根据自身的可供性模型和人类的指令，进行任务规划和执行。当机器人无法完成任务时，通过AR界面向人类请求帮助。

关键创新：该论文的关键创新在于将增强现实技术应用于人机协作的可供性感知。通过AR界面，人类和机器人可以共享对彼此能力的理解，从而实现更高效、更自然的协作。此外，该框架还允许机器人在自身能力不足时主动寻求人类的帮助，从而提高了人机协作的鲁棒性和可靠性。

关键设计：论文中提到利用不同视角的传感器数据融合来构建环境的感知表示，但没有详细说明具体的融合算法和参数设置。AR界面的设计也未给出具体细节，例如如何可视化可供性区域，以及如何实现人机之间的自然交互。损失函数和网络结构等技术细节也未提及。

📊 实验亮点

该论文为进行中的工作，主要展示了框架的设计思路和潜在应用，并通过一个家庭清洁任务的实验验证了框架的可行性。论文侧重于概念验证，没有提供具体的性能数据或与其他基线的对比结果。未来的工作可以进一步完善框架的各个模块，并进行更全面的实验评估，以验证其有效性和优越性。

🎯 应用场景

该研究成果可应用于各种人机协作场景，例如家庭服务、医疗辅助、工业制造等。在家庭服务中，机器人可以帮助老年人或残疾人完成日常任务，如清洁、烹饪等。在医疗辅助中，机器人可以协助医生进行手术或康复治疗。在工业制造中，机器人可以与工人协同完成装配、搬运等任务。该研究有助于提高人机协作的效率和安全性，促进人机共融的发展。

📄 摘要（原文）

Enabling humans and robots to collaborate effectively requires purposeful communication and an understanding of each other's affordances. Prior work in human-robot collaboration has incorporated knowledge of human affordances, i.e., their action possibilities in the current context, into autonomous robot decision-making. This "affordance awareness" is especially promising for service robots that need to know when and how to assist a person that cannot independently complete a task. However, robots still fall short in performing many common tasks autonomously. In this work-in-progress paper, we propose an augmented reality (AR) framework that bridges the gap in an assistive robot's capabilities by actively engaging with a human through a shared affordance-awareness representation. Leveraging the different perspectives from a human wearing an AR headset and a robot's equipped sensors, we can build a perceptual representation of the shared environment and model regions of respective agent affordances. The AR interface can also allow both agents to communicate affordances with one another, as well as prompt for assistance when attempting to perform an action outside their affordance region. This paper presents the main components of the proposed framework and discusses its potential through a domestic cleaning task experiment.