Multimodal "Puppeteer": Exploring Robot Teleoperation Via Virtual Counterpart with LLM-Driven Voice and Gesture Interaction in Augmented Reality
作者: Yuchong Zhang, Bastian Orthmann, Shichen Ji, Michael Welle, Jonne Van Haastregt, Danica Kragic
分类: cs.HC, cs.RO
发布日期: 2025-06-16 (更新: 2025-12-01)
备注: This work is under peer review
💡 一句话要点
提出多模态“操控者”框架以提升机器人遥控体验
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态交互 增强现实 机器人遥控 人机交互 语音识别 手势识别 大型语言模型
📋 核心要点
- 现有的机器人遥控方法在透明性、空间基础和直观性方面存在不足，影响了人机交互的效率和体验。
- 本研究提出了一种AR“操控者”框架，用户通过虚拟机器人进行控制，结合了语音和手势交互，旨在提升遥控的直观性和灵活性。
- 实验结果显示，手势控制在时间敏感任务中表现更佳，而语音+手势控制则增加了灵活性但也带来了延迟和识别问题。
📝 摘要（中文）
本研究探讨了机器人与增强现实（AR）的结合，提出了一种头戴式AR“操控者”框架，用户通过与虚拟机器人互动来控制物理机器人，使用基于大型语言模型（LLM）的语音命令和手势交互。通过对42名参与者进行的用户研究，比较了手势控制和语音+手势控制两种交互方式的效果。结果表明，手势控制在时间敏感的任务中提供了更可靠和高效的控制，而语音+手势控制则引入了灵活性，但也增加了延迟和识别问题。基于这些发现，研究提出了一系列基于证据的设计指南，强调多模态交互在效率、鲁棒性和用户专业知识之间的平衡。该研究为AR基础的人机交互提供了实证见解。
🔬 方法详解
问题定义：本研究旨在解决现有机器人遥控方法在透明性和直观性方面的不足，尤其是在时间敏感的任务中，用户的控制效率和体验受到影响。
核心思路：提出了一种结合语音和手势的多模态交互框架，用户通过与虚拟机器人互动来控制物理机器人，利用大型语言模型（LLM）提升交互的自然性和灵活性。
技术框架：整体架构包括用户通过头戴式AR设备与虚拟机器人进行交互，系统实时解析语音命令和手势，控制物理机器人执行任务。主要模块包括语音识别、手势识别和机器人控制模块。
关键创新：最重要的创新在于将多模态交互（语音+手势）应用于机器人遥控中，强调了在不同用户专业知识背景下的适应性设计，区别于传统单一模态的控制方式。
关键设计：在参数设置上，系统优化了语音识别和手势识别的算法，以降低延迟和提高准确性。同时，设计了适应不同用户经验的交互策略，以平衡效率和用户体验。
📊 实验亮点
实验结果显示，手势控制在时间敏感任务中提供了更高的可靠性和效率，而语音+手势控制虽然增加了灵活性，但也导致了延迟和识别问题。具体而言，手势控制的任务完成时间显著优于语音+手势控制，表明在特定场景下，单一模态的效率更高。
🎯 应用场景
该研究的潜在应用场景包括工业自动化、医疗机器人和家庭服务机器人等领域。通过提升人机交互的直观性和灵活性，能够有效提高机器人在复杂环境中的操作效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
The integration of robotics and augmented reality (AR) offers promising opportunities to enhance human-robot interaction (HRI) by making teleoperation more transparent, spatially grounded, and intuitive. We present a head-mounted AR "puppeteer" framework in which users control a physical robot via interacting with its virtual counterpart robot using large language model (LLM)-driven voice commands and hand-gesture interaction on the Meta Quest 3. In a within-subject user study with 42 participants performing an AR-based robotic pick-and-place pattern-matching task, we compare two interaction conditions: gesture-only (GO) and combined voice+gesture (VG). Our results show that GO currently provides more reliable and efficient control for this time-critical task, while VG introduces additional flexibility but also latency and recognition issues that can increase workload. We further explore how prior robotics experience shapes participants' perceptions of each modality. Based on these findings, we distill a set of evidence-based design guidelines for AR puppeteer metaphoric robot teleoperation, implicating multimodality as an adaptive strategy that must balance efficiency, robustness, and user expertise rather than assuming that additional modalities are universally beneficial. Our work contributes empirical insights into how multimodal (voice+gesture) interaction influences task efficiency, usability, and user experience in AR-based HRI.