2024 NASA SUITS Report: LLM-Driven Immersive Augmented Reality User Interface for Robotics and Space Exploration

📄 arXiv: 2507.01206v1 📥 PDF

作者: Kathy Zhuang, Zixun Huang, Yukun Song, Rui Li, Yinuo Zhou, Allen Y. Yang

分类: cs.RO, cs.HC

发布日期: 2025-07-01

💡 一句话要点

URSA：基于LLM的沉浸式AR人机交互系统，用于机器人与太空探索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 增强现实 人机交互 机器人控制 大型语言模型 数字孪生 姿态估计 深度学习

📋 核心要点

  1. 现有AR人机交互在复杂动态环境中，尤其是在机器人控制方面，面临着精度和易用性的挑战。
  2. URSA系统利用LLM驱动的语音控制和数字孪生技术，构建非侵入式AR界面，实现精准的机器人实时控制。
  3. 该系统通过ZED2相机和DTTDNet，在噪声和遮挡下实现了精确的机器人姿态估计，并进行了端到端集成。

📝 摘要（中文）

随着现代计算的进步，增强现实(AR)中涌现了新的交互模式，它将虚拟界面叠加到物理对象上。这种演变给机器感知带来了挑战，尤其是在复杂、动态环境中进行3D物体姿态估计等任务时。我们的项目旨在解决移动AR中人机交互的关键问题，重点关注非侵入式、空间感知界面。我们提出了URSA，一个由LLM驱动的沉浸式AR系统，为NASA的2023-2024 SUITS挑战赛开发，目标是满足未来太空飞行的需求，如阿耳忒弥斯任务。URSA集成了三个核心技术：用于直观视觉反馈的头戴式AR设备（如HoloLens），由大型语言模型驱动的语音控制，用于免提交互，以及能够在动态环境中实现精确3D定位的机器人跟踪算法。为了提高精度，我们利用数字孪生定位技术，使用DTTD-Mobile等数据集和ZED2相机等专用硬件，在噪声和遮挡下进行真实世界跟踪。我们的系统通过AR界面实现实时机器人控制和监控，即使在没有地面传感器的情况下也是如此——这对于危险或远程操作至关重要。主要贡献包括：(1)具有基于LLM的语音输入的非侵入式AR界面；(2)专为非刚性机器人体设计的基于ZED2的数据集；(3)用于任务可视化的本地任务控制台(LMCC)；(4)针对深度融合和实时跟踪优化的基于Transformer的6DoF姿态估计器(DTTDNet)；(5)为宇航员任务支持的端到端集成。这项工作推进了数字孪生在机器人技术中的应用，为航空航天和工业领域提供了可扩展的解决方案。

🔬 方法详解

问题定义：论文旨在解决在太空探索等复杂环境中，宇航员与机器人交互时面临的挑战。现有方法通常依赖于传统的控制方式，如手柄或键盘，这在宇航服等限制条件下非常不便。此外，在动态和遮挡环境中，精确的机器人姿态估计也是一个难题。

核心思路：论文的核心思路是利用增强现实(AR)技术，结合大型语言模型(LLM)进行语音控制，构建一个非侵入式、空间感知的交互界面。通过数字孪生技术和深度学习算法，实现对机器人的精确跟踪和姿态估计，从而提高人机交互的效率和安全性。

技术框架：URSA系统的整体架构包括三个主要模块：1) 头戴式AR设备（如HoloLens），用于显示虚拟界面和提供视觉反馈；2) 基于LLM的语音控制模块，用于接收和解析宇航员的语音指令；3) 机器人跟踪和姿态估计模块，利用ZED2相机和DTTDNet算法，实现对机器人的实时跟踪和姿态估计。此外，系统还包含一个本地任务控制台(LMCC)，用于任务可视化和监控。

关键创新：该论文的关键创新在于将LLM驱动的语音控制与数字孪生技术相结合，构建了一个非侵入式的AR人机交互系统。此外，DTTDNet算法针对深度融合和实时跟踪进行了优化，能够在噪声和遮挡环境下实现精确的机器人姿态估计。

关键设计：DTTDNet是一个基于Transformer的6DoF姿态估计器，它利用ZED2相机获取的深度信息，并采用深度融合技术来提高姿态估计的精度。损失函数的设计考虑了姿态估计的旋转和平移误差，并进行了加权处理。此外，系统还针对非刚性机器人体设计了一个基于ZED2的数据集，用于训练和评估DTTDNet算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了DTTDNet，一个基于Transformer的6DoF姿态估计器，针对深度融合和实时跟踪进行了优化。实验结果表明，DTTDNet在噪声和遮挡环境下能够实现精确的机器人姿态估计，相较于传统方法，姿态估计精度提升了XX%（具体数据未知）。此外，该系统还实现了端到端的集成，验证了其在实际应用中的可行性。

🎯 应用场景

该研究成果可广泛应用于航空航天、工业制造、医疗健康等领域。在航空航天领域，可用于支持宇航员进行太空行走、机器人维护等任务。在工业制造领域，可用于实现远程机器人控制、自动化装配等。在医疗健康领域，可用于辅助医生进行远程手术、康复训练等。该研究具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

As modern computing advances, new interaction paradigms have emerged, particularly in Augmented Reality (AR), which overlays virtual interfaces onto physical objects. This evolution poses challenges in machine perception, especially for tasks like 3D object pose estimation in complex, dynamic environments. Our project addresses critical issues in human-robot interaction within mobile AR, focusing on non-intrusive, spatially aware interfaces. We present URSA, an LLM-driven immersive AR system developed for NASA's 2023-2024 SUITS challenge, targeting future spaceflight needs such as the Artemis missions. URSA integrates three core technologies: a head-mounted AR device (e.g., HoloLens) for intuitive visual feedback, voice control powered by large language models for hands-free interaction, and robot tracking algorithms that enable accurate 3D localization in dynamic settings. To enhance precision, we leverage digital twin localization technologies, using datasets like DTTD-Mobile and specialized hardware such as the ZED2 camera for real-world tracking under noise and occlusion. Our system enables real-time robot control and monitoring via an AR interface, even in the absence of ground-truth sensors--vital for hazardous or remote operations. Key contributions include: (1) a non-intrusive AR interface with LLM-based voice input; (2) a ZED2-based dataset tailored for non-rigid robotic bodies; (3) a Local Mission Control Console (LMCC) for mission visualization; (4) a transformer-based 6DoF pose estimator (DTTDNet) optimized for depth fusion and real-time tracking; and (5) end-to-end integration for astronaut mission support. This work advances digital twin applications in robotics, offering scalable solutions for both aerospace and industrial domains.