ERUPT: An Open Toolkit for Interfacing with Robot Motion Planners in Extended Reality

📄 arXiv: 2510.02464v1 📥 PDF

作者: Isaac Ngui, Courtney McBeth, André Santos, Grace He, Katherine J. Mimnaugh, James D. Motes, Luciano Soares, Marco Morales, Nancy M. Amato

分类: cs.RO, cs.HC

发布日期: 2025-10-02

💡 一句话要点

ERUPT：用于扩展现实中机器人运动规划交互的开放工具包

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 扩展现实 机器人运动规划 人机交互 虚拟现实 MoveIt

📋 核心要点

  1. 现有机器人运动规划系统通常依赖于二维屏幕交互，限制了用户对三维环境的感知和操作的自然性。
  2. ERUPT利用扩展现实技术，使用户能够在沉浸式三维环境中直观地创建、修改环境并规划机器人路径。
  3. 该系统集成了MoveIt运动规划框架，支持在虚拟环境中可视化机器人运动，并最终部署到真实机器人上。

📝 摘要（中文）

本文提出扩展现实通用规划工具包（ERUPT），这是一个用于交互式运动规划的扩展现实（XR）系统。该系统允许用户在规划机器人路径时创建和动态地重新配置环境。在沉浸式三维XR环境中，用户可以获得更强的空间理解能力。XR还释放了更广泛的自然交互能力，允许用户像在现实世界中一样抓取和调整环境中的对象，而不是使用鼠标和键盘将场景投影到二维计算机屏幕上。我们的系统与MoveIt集成，MoveIt是一个操作规划框架，允许用户发送运动规划请求并在虚拟或增强现实中可视化生成的机器人路径。我们提供了广泛的交互方式，允许用户修改环境中的对象并与虚拟机器人交互。我们的系统允许操作员可视化机器人运动，确保其在整个环境中移动时具有所需的行为，而不会在虚拟空间内发生碰撞的风险，然后将规划的路径部署到现实世界中的物理机器人上。

🔬 方法详解

问题定义：现有的机器人运动规划系统通常使用鼠标和键盘在二维屏幕上进行交互，这限制了用户对三维环境的感知和操作能力。用户难以直观地理解机器人运动轨迹与环境之间的关系，也难以进行自然、高效的交互，从而影响了运动规划的效率和质量。

核心思路：ERUPT的核心思路是利用扩展现实（XR）技术，将机器人运动规划过程带入沉浸式三维环境。通过XR设备，用户可以直接在虚拟环境中创建、修改障碍物，并与虚拟机器人进行交互，从而获得更直观、更自然的运动规划体验。这种方式能够提升用户对空间关系的理解，并允许用户使用更自然的交互方式（如抓取、拖动）来调整环境和机器人姿态。

技术框架：ERUPT系统主要包含以下几个模块：1) XR交互模块：负责处理用户在XR环境中的输入，包括手势识别、对象抓取等。2) 环境建模模块：负责创建和维护虚拟环境，允许用户动态地添加、删除和修改环境中的对象。3) 运动规划模块：集成了MoveIt运动规划框架，负责根据用户设定的目标和环境约束，生成机器人的运动轨迹。4) 可视化模块：负责在XR环境中可视化机器人运动轨迹和环境信息，为用户提供反馈。

关键创新：ERUPT的关键创新在于将XR技术与机器人运动规划相结合，提供了一种全新的交互方式。与传统的二维屏幕交互相比，XR环境能够提供更强的空间沉浸感和更自然的交互方式，从而提升了运动规划的效率和质量。此外，ERUPT还提供了一套通用的接口，方便用户集成不同的运动规划器和机器人模型。

关键设计：ERUPT的关键设计包括：1) 针对XR环境优化的交互方式，例如使用手势识别来实现对象的抓取和拖动。2) 实时环境建模技术，允许用户动态地修改环境，并快速更新运动规划结果。3) 与MoveIt的无缝集成，方便用户使用现有的运动规划算法和机器人模型。4) 可定制的可视化界面，允许用户根据自己的需求调整显示内容和交互方式。

📊 实验亮点

该论文提出了ERUPT系统，通过扩展现实技术实现了更直观、自然的机器人运动规划交互。用户可以在沉浸式三维环境中创建和修改环境，并与虚拟机器人进行交互。系统集成了MoveIt运动规划框架，支持在虚拟环境中可视化机器人运动轨迹，并最终部署到真实机器人上。虽然论文中没有给出具体的性能数据，但通过XR技术增强用户对空间关系的理解，并允许用户使用更自然的交互方式，预期可以提升运动规划的效率和质量。

🎯 应用场景

ERUPT可应用于各种机器人运动规划场景，例如工业自动化、物流仓储、医疗手术等。通过在虚拟环境中进行运动规划和仿真，可以有效地降低实际部署的风险和成本。此外，ERUPT还可以用于机器人教学和培训，帮助学生和工程师更好地理解机器人运动规划的原理和方法。未来，ERUPT有望成为机器人运动规划领域的重要工具。

📄 摘要（原文）

We propose the Extended Reality Universal Planning Toolkit (ERUPT), an extended reality (XR) system for interactive motion planning. Our system allows users to create and dynamically reconfigure environments while they plan robot paths. In immersive three-dimensional XR environments, users gain a greater spatial understanding. XR also unlocks a broader range of natural interaction capabilities, allowing users to grab and adjust objects in the environment similarly to the real world, rather than using a mouse and keyboard with the scene projected onto a two-dimensional computer screen. Our system integrates with MoveIt, a manipulation planning framework, allowing users to send motion planning requests and visualize the resulting robot paths in virtual or augmented reality. We provide a broad range of interaction modalities, allowing users to modify objects in the environment and interact with a virtual robot. Our system allows operators to visualize robot motions, ensuring desired behavior as it moves throughout the environment, without risk of collisions within a virtual space, and to then deploy planned paths on physical robots in the real world.