ERUPT: An Open Toolkit for Interfacing with Robot Motion Planners in Extended Reality
作者: Isaac Ngui, Courtney McBeth, André Santos, Grace He, Katherine J. Mimnaugh, James D. Motes, Luciano Soares, Marco Morales, Nancy M. Amato
分类: cs.RO, cs.HC
发布日期: 2025-10-02
💡 一句话要点
ERUPT：用于扩展现实中机器人运动规划交互的开源工具包
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 扩展现实 机器人运动规划 人机交互 虚拟现实 MoveIt
📋 核心要点
- 现有机器人运动规划系统通常依赖于二维屏幕交互，限制了用户对三维环境的感知和操作的自然性。
- ERUPT利用扩展现实技术，使用户能够在沉浸式三维环境中直观地创建、调整环境，并与虚拟机器人进行交互。
- 该系统集成了MoveIt运动规划框架，支持在虚拟环境中规划机器人路径，并在物理机器人上部署，降低了碰撞风险。
📝 摘要（中文）
本文提出扩展现实通用规划工具包（ERUPT），这是一个用于交互式运动规划的扩展现实（XR）系统。该系统允许用户在规划机器人路径的同时创建和动态地重新配置环境。在沉浸式三维XR环境中，用户可以获得更强的空间理解能力。XR还解锁了更广泛的自然交互能力，允许用户像在现实世界中一样抓取和调整环境中的对象，而不是使用鼠标和键盘在二维计算机屏幕上投影场景。我们的系统与MoveIt集成，MoveIt是一个操作规划框架，允许用户发送运动规划请求并在虚拟或增强现实中可视化生成的机器人路径。我们提供广泛的交互方式，允许用户修改环境中的对象并与虚拟机器人交互。我们的系统允许操作员可视化机器人运动，确保其在整个环境中移动时达到期望的行为，而不会在虚拟空间内发生碰撞的风险，然后将规划的路径部署在现实世界中的物理机器人上。
🔬 方法详解
问题定义：现有的机器人运动规划系统主要依赖于传统的鼠标和键盘交互方式，用户需要在二维屏幕上操作三维环境，这限制了用户对环境的感知能力和操作的直观性。尤其是在复杂环境中进行机器人路径规划时，这种交互方式效率低下且容易出错。现有方法难以提供沉浸式和自然的交互体验，使得用户难以充分利用机器人的潜力。
核心思路：ERUPT的核心思路是利用扩展现实（XR）技术，将机器人运动规划过程带入沉浸式三维环境。通过XR设备，用户可以直接在虚拟环境中与机器人和环境进行交互，从而提高规划效率和准确性。这种方式模拟了真实世界中的交互方式，使得用户可以更加直观地理解和控制机器人的运动。
技术框架：ERUPT系统主要包含以下几个核心模块：1) XR交互模块：负责处理用户在XR环境中的输入，包括手势识别、对象抓取和移动等。2) 环境建模模块：负责创建和维护虚拟环境，允许用户动态地添加、删除和修改环境中的对象。3) 运动规划模块：集成了MoveIt运动规划框架，负责根据用户设定的目标和约束条件，生成机器人的运动轨迹。4) 可视化模块：负责在XR环境中可视化机器人和规划的路径，并提供碰撞检测等功能。
关键创新：ERUPT最重要的创新点在于将XR技术应用于机器人运动规划领域，提供了一种全新的交互方式。与传统的二维屏幕交互相比，XR交互更加直观、自然和高效。此外，ERUPT还提供了一系列交互工具，允许用户方便地修改环境和调整机器人参数，从而提高了规划的灵活性和适应性。
关键设计：ERUPT的关键设计包括：1) 使用Unity作为XR开发平台，提供了丰富的XR交互组件和API。2) 集成MoveIt运动规划框架，利用其强大的运动规划算法和功能。3) 设计了一套直观的XR交互界面，方便用户进行环境建模和机器人控制。4) 实现了实时碰撞检测功能，确保规划的路径在虚拟环境中是安全的。
🖼️ 关键图片
📊 实验亮点
ERUPT提供了一种直观的交互方式，用户可以在XR环境中直接操作虚拟机器人和环境，极大地提高了运动规划的效率。通过与MoveIt集成，ERUPT能够利用先进的运动规划算法，生成高质量的机器人轨迹。该系统允许用户在虚拟环境中进行碰撞检测和路径优化，从而降低了实际部署的风险。
🎯 应用场景
ERUPT可应用于各种机器人应用场景，例如工业自动化、物流、医疗手术等。通过在虚拟环境中进行机器人路径规划和仿真，可以显著降低实际部署的风险和成本。此外，该系统还可以用于机器人教学和培训，帮助用户更好地理解和掌握机器人运动规划技术。未来，ERUPT有望成为机器人开发和应用的重要工具。
📄 摘要（原文）
We propose the Extended Reality Universal Planning Toolkit (ERUPT), an extended reality (XR) system for interactive motion planning. Our system allows users to create and dynamically reconfigure environments while they plan robot paths. In immersive three-dimensional XR environments, users gain a greater spatial understanding. XR also unlocks a broader range of natural interaction capabilities, allowing users to grab and adjust objects in the environment similarly to the real world, rather than using a mouse and keyboard with the scene projected onto a two-dimensional computer screen. Our system integrates with MoveIt, a manipulation planning framework, allowing users to send motion planning requests and visualize the resulting robot paths in virtual or augmented reality. We provide a broad range of interaction modalities, allowing users to modify objects in the environment and interact with a virtual robot. Our system allows operators to visualize robot motions, ensuring desired behavior as it moves throughout the environment, without risk of collisions within a virtual space, and to then deploy planned paths on physical robots in the real world.