Teleoperated Omni-directional Dual Arm Mobile Manipulation Robotic System with Shared Control for Retail Store
作者: Rolif Lima, Somdeb Saha, Nijil George, Vismay Vakharia, Shubham Parab, Sahil Gaonkar, Vighnesh Vatsal, Kaushik Das
分类: cs.RO
发布日期: 2026-02-27
备注: This work has been accepted for publication in the Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics (SMC 2024). $©$ IEEE. The final version is available via IEEE Xplore
💡 一句话要点
提出一种用于零售商店的遥操作全向双臂移动操作机器人系统，实现共享控制。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 遥操作机器人 双臂机器人 移动操作 零售环境 共享控制
📋 核心要点
- 零售环境中自主机器人在适应商品多样性和新环境方面存在挑战，难以完全自主运行。
- 提出一种基于VR运动捕捉的遥操作方法，实现人机共享控制，提升机器人的操作灵活性。
- 设计了全向移动平台和异构双臂机器人，并在零售环境模型中验证了其操作各种物品的能力。
📝 摘要（中文）
零售业的快速发展促使越来越多的企业采用人工智能和机器学习算法驱动的自主移动机器人，以在竞争激烈的市场中获得优势。然而，这些自主机器人在适应零售产品动态特性方面面临挑战，并且常常难以在新环境中自主运行。本研究介绍了一种专为零售环境设计的全向双臂移动机器人。此外，我们提出了一种遥操作方法，该方法实现了机器人和人类操作员之间的共享控制。该方法利用虚拟现实（VR）运动捕捉系统来捕获操作员的指令，然后将这些指令传输到位于零售环境中的远程机器人。此外，该机器人配备了异构的末端执行器，从而能够处理各种物品。我们通过在零售环境的模型中进行测试，验证了所提出系统的有效性，证明了其使用单臂和双臂协同操作技术来操纵各种常见零售物品的能力。
🔬 方法详解
问题定义：论文旨在解决零售环境中移动机器人难以自主适应动态商品和新环境的问题。现有自主机器人在处理种类繁多的零售商品和应对突发情况时表现不佳，需要人工干预，但传统遥操作方式缺乏灵活性和直观性。
核心思路：论文的核心思路是结合人类操作员的智能和机器人的执行能力，通过共享控制实现更高效、灵活的零售环境操作。利用VR运动捕捉系统，操作员可以直观地控制机器人，同时机器人具备一定的自主能力，从而应对复杂场景。
技术框架：该系统包含以下主要模块：1) 全向移动平台，实现灵活的移动；2) 双臂机器人，配备异构末端执行器，适应不同形状和尺寸的商品；3) VR运动捕捉系统，捕捉操作员的动作；4) 遥操作控制系统，将操作员的动作转化为机器人的控制指令，并实现共享控制。
关键创新：该论文的关键创新在于将VR运动捕捉技术应用于零售环境的移动操作机器人，实现了直观、灵活的遥操作控制。通过共享控制，操作员可以专注于高层次的任务规划和决策，而机器人则负责具体的执行，从而提高了整体效率和鲁棒性。
关键设计：VR运动捕捉系统使用HTC Vive等设备，捕捉操作员的手部和头部动作。遥操作控制系统采用映射算法，将操作员的动作映射到机器人的关节空间。共享控制策略允许操作员随时介入机器人的自主操作，并进行纠正或指导。异构末端执行器的设计考虑了零售商品的特点，例如吸盘式夹爪用于抓取光滑表面，平行夹爪用于抓取规则形状的物体。
🖼️ 关键图片
📊 实验亮点
该研究在零售环境模型中验证了所提出系统的有效性。实验结果表明，该系统能够成功地操纵各种常见的零售物品，包括不同形状和尺寸的盒子、瓶子和罐子。通过单臂和双臂协同操作，机器人能够完成复杂的任务，例如将物品从货架上取下并放置到购物车中。虽然论文中没有提供具体的性能数据，但实验结果证明了该系统在实际零售环境中的可行性。
🎯 应用场景
该研究成果可应用于零售商店的商品拣选、补货、整理等任务，提高零售运营效率，降低人工成本。此外，该技术还可扩展到其他需要远程操作的场景，如仓库管理、医疗服务、危险环境作业等，具有广阔的应用前景和实际价值。
📄 摘要（原文）
The swiftly expanding retail sector is increasingly adopting autonomous mobile robots empowered by artificial intelligence and machine learning algorithms to gain an edge in the competitive market. However, these autonomous robots encounter challenges in adapting to the dynamic nature of retail products, often struggling to operate autonomously in novel situations. In this study, we introduce an omni-directional dual-arm mobile robot specifically tailored for use in retail environments. Additionally, we propose a tele-operation method that enables shared control between the robot and a human operator. This approach utilizes a Virtual Reality (VR) motion capture system to capture the operator's commands, which are then transmitted to the robot located remotely in a retail setting. Furthermore, the robot is equipped with heterogeneous grippers on both manipulators, facilitating the handling of a wide range of items. We validate the efficacy of the proposed system through testing in a mockup of retail environment, demonstrating its ability to manipulate various commonly encountered retail items using both single and dual-arm coordinated manipulation techniques.