Exploring Large Language Models to Facilitate Variable Autonomy for Human-Robot Teaming

📄 arXiv: 2312.07214v3 📥 PDF

作者: Younes Lakhnati, Max Pascher, Jens Gerken

分类: cs.HC, cs.AI, cs.RO

发布日期: 2023-12-12 (更新: 2024-03-21)

备注: Frontiers in Robotics and AI, Variable Autonomy for Human-Robot Teaming

期刊: Front. Robot. AI 11:1347538 2024

DOI: 10.3389/frobt.2024.1347538

💡 一句话要点

提出基于GPT的VR人机协作框架，探索自然语言交互下的机器人自主性控制。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 大型语言模型 自然语言交互 可变自主性 虚拟现实

📋 核心要点

  1. 现有的人机协作系统在自然语言交互方面存在不足，用户难以灵活控制机器人的自主程度。
  2. 论文提出利用GPT模型，结合函数调用，构建VR环境下的多机器人协作平台，实现自然语言控制。
  3. 用户研究表明，用户对机器人交互存在预设，探索机器人能力的用户能获得更自然的交互体验。

📝 摘要（中文）

本文探讨了将大型语言模型（LLM），如GPT，集成到人机协作环境中，通过自然语言通信实现可变自主性。论文提出了一个新颖的、基于Unity虚拟现实（VR）环境的GPT驱动的多机器人测试平台框架。该系统允许用户通过自然语言与由独立GPT核心驱动的机器人代理进行交互。通过OpenAI的函数调用，弥合了非结构化自然语言输入和结构化机器人动作之间的差距。一项包含12名参与者的用户研究探索了GPT-4的有效性，更重要的是，用户在多机器人环境中以自然语言进行对话时的策略。研究结果表明，用户可能对如何与机器人交谈存在先入为主的期望，并且很少尝试探索其机器人合作者的实际语言和认知能力。尽管如此，那些确实进行探索的用户能够从更自然的沟通流程和类似人际的互动中受益。本文为未来类似系统的研究和技术实现提供了一系列经验教训。

🔬 方法详解

问题定义：论文旨在解决人机协作中，用户如何通过自然语言更自然、更有效地控制多个机器人的自主程度的问题。现有方法通常依赖于预定义的命令或复杂的编程接口，限制了用户的灵活性和交互的自然性。用户难以根据任务需求动态调整机器人的行为，也难以充分利用机器人的认知能力。

核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言理解和生成能力，将用户的自然语言指令转化为机器人可以执行的动作。通过将每个机器人代理与一个独立的GPT核心连接，并利用OpenAI的函数调用功能，实现自然语言输入到结构化机器人动作的桥梁。这种方法允许用户以更自然的方式与机器人进行交互，并根据需要调整机器人的自主程度。

技术框架：该框架基于Unity VR环境构建，包含以下主要模块：1) VR用户界面：允许用户在虚拟环境中与机器人进行交互。2) 机器人代理：每个机器人代理由一个独立的GPT核心驱动，负责理解用户的指令并执行相应的动作。3) OpenAI函数调用：用于将GPT生成的自然语言指令转化为机器人可以理解和执行的函数调用。4) 机器人控制系统：负责控制机器人的运动和行为。整体流程是：用户通过VR界面输入自然语言指令，GPT核心理解指令并生成相应的函数调用，函数调用被传递给机器人控制系统，机器人执行相应的动作。

关键创新：论文最重要的技术创新点在于将大型语言模型与机器人控制系统相结合，实现了一种基于自然语言的可变自主性人机协作框架。与现有方法相比，该框架允许用户以更自然、更灵活的方式与机器人进行交互，并根据需要调整机器人的自主程度。此外，利用OpenAI的函数调用功能，有效地弥合了非结构化自然语言输入和结构化机器人动作之间的差距。

关键设计：关键设计包括：1) 每个机器人代理配备独立的GPT核心，允许并行处理多个机器人的指令。2) 使用OpenAI的函数调用功能，定义了一系列机器人可以执行的函数，例如移动、抓取、放置等。3) VR环境的设计，提供了一个逼真的交互环境，允许用户更自然地与机器人进行交互。4) 用户研究的设计，旨在探索用户在自然语言交互下的策略和偏好。

📊 实验亮点

用户研究表明，用户对如何与机器人交谈存在预设，但那些积极探索机器人能力的用户能够获得更自然的沟通流程和类似人际的互动。这表明，通过适当的引导和培训，用户可以充分利用基于GPT的自然语言交互框架，实现更高效的人机协作。研究结果还为未来类似系统的设计和开发提供了宝贵的经验教训。

🎯 应用场景

该研究成果可应用于多种人机协作场景，例如：远程操作、灾难救援、智能制造、医疗辅助等。通过自然语言交互，用户可以更轻松地控制机器人完成复杂任务，提高工作效率和安全性。未来，该技术有望推动人机协作向更智能、更自然的方向发展，实现人与机器人的无缝融合。

📄 摘要（原文）

In a rapidly evolving digital landscape autonomous tools and robots are becoming commonplace. Recognizing the significance of this development, this paper explores the integration of Large Language Models (LLMs) like Generative pre-trained transformer (GPT) into human-robot teaming environments to facilitate variable autonomy through the means of verbal human-robot communication. In this paper, we introduce a novel framework for such a GPT-powered multi-robot testbed environment, based on a Unity Virtual Reality (VR) setting. This system allows users to interact with robot agents through natural language, each powered by individual GPT cores. By means of OpenAI's function calling, we bridge the gap between unstructured natural language input and structure robot actions. A user study with 12 participants explores the effectiveness of GPT-4 and, more importantly, user strategies when being given the opportunity to converse in natural language within a multi-robot environment. Our findings suggest that users may have preconceived expectations on how to converse with robots and seldom try to explore the actual language and cognitive capabilities of their robot collaborators. Still, those users who did explore where able to benefit from a much more natural flow of communication and human-like back-and-forth. We provide a set of lessons learned for future research and technical implementations of similar systems.