A Bimanual Gesture Interface for ROS-Based Mobile Manipulators Using TinyML and Sensor Fusion

📄 arXiv: 2509.19521v1 📥 PDF

作者: Najeeb Ahmed Bhuiyan, M. Nasimul Huq, Sakib H. Chowdhury, Rahul Mangharam

分类: cs.RO

发布日期: 2025-09-23

备注: 12 pages, 11 figures

💡 一句话要点

提出基于TinyML和传感器融合的双手动势接口，用于ROS移动机械臂控制

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 移动机械臂 手势识别 TinyML 传感器融合 ROS 双手动势控制

📋 核心要点

  1. 移动机械臂的基于手势控制面临可靠性、效率和直观性方面的挑战。
  2. 论文提出一种双手动势接口，结合TinyML、频谱分析和传感器融合，实现高效的机械臂控制。
  3. 该系统在ROS框架下实现，支持同步导航和操作，提升了人机交互的效率和协调性。

📝 摘要（中文）

本文提出了一种双手动势接口，集成了TinyML、频谱分析和传感器融合技术，并在ROS框架下运行，旨在提高移动机械臂控制的可靠性、效率和直观性。该系统利用左手的倾斜和手指弯曲（通过加速度计和弯曲传感器捕捉）进行移动底座导航，同时通过频谱分析处理右手的IMU信号，并由轻量级神经网络进行分类。这种流程实现了基于TinyML的手势识别，从而控制一个7自由度的Kinova Gen3机械臂。通过支持同步导航和操作，该框架相比于顺序方法提高了效率和协调性。主要贡献包括双手动势控制架构、实时低功耗手势识别、鲁棒的多模态传感器融合以及可扩展的基于ROS的实现。该方法推进了工业自动化、辅助机器人和危险环境中的人机交互（HRI），提供了一种经济高效的开源解决方案，具有强大的实际部署和进一步优化潜力。

🔬 方法详解

问题定义：现有移动机械臂的手势控制方法在可靠性、效率和直观性方面存在不足。尤其是在复杂环境中，单手控制或顺序控制方式难以满足实时性和协调性的需求。现有方法通常计算量大，难以在低功耗设备上实现，限制了其在资源受限场景下的应用。

核心思路：论文的核心思路是利用双手的协同操作，将导航和操作任务解耦，分别由左右手控制。左手负责移动底座的导航，右手负责机械臂的操作。通过TinyML技术，在低功耗设备上实现实时手势识别，并通过传感器融合提高系统的鲁棒性。这种设计旨在提高控制效率、降低计算复杂度，并提升用户体验。

技术框架：整体框架包含以下几个主要模块：1) 左手传感器模块：使用加速度计和弯曲传感器捕捉左手的倾斜和手指弯曲数据，用于移动底座导航。2) 右手传感器模块：使用IMU捕捉右手的运动数据，用于机械臂操作手势识别。3) 信号处理模块：对右手IMU信号进行频谱分析，提取特征。4) TinyML模型：使用轻量级神经网络对频谱特征进行分类，实现手势识别。5) ROS集成：将所有模块集成到ROS框架中，实现机械臂的控制。

关键创新：最重要的技术创新点在于双手动势控制架构和基于TinyML的手势识别。双手动势控制架构允许用户同时进行导航和操作，提高了控制效率。基于TinyML的手势识别使得系统能够在低功耗设备上实时运行，扩展了其应用范围。

关键设计：论文的关键设计包括：1) 轻量级神经网络结构的设计，以适应TinyML的资源限制。2) 频谱分析方法的选择，以提取有效的运动特征。3) 传感器融合算法的设计，以提高系统的鲁棒性。4) ROS节点的划分和通信机制的设计，以实现系统的可扩展性。

📊 实验亮点

该研究实现了基于TinyML的实时手势识别，能够在低功耗设备上运行。通过双手动势控制，实现了同步导航和操作，提高了控制效率。实验结果表明，该系统具有较高的鲁棒性和准确性，能够有效地控制移动机械臂。

🎯 应用场景

该研究成果可应用于工业自动化、辅助机器人和危险环境等领域。在工业自动化中，可以提高生产效率和灵活性。在辅助机器人中，可以帮助残疾人完成日常任务。在危险环境中，可以远程控制机械臂进行操作，降低人员风险。该研究为开发更智能、更高效的人机交互系统奠定了基础。

📄 摘要（原文）

Gesture-based control for mobile manipulators faces persistent challenges in reliability, efficiency, and intuitiveness. This paper presents a dual-hand gesture interface that integrates TinyML, spectral analysis, and sensor fusion within a ROS framework to address these limitations. The system uses left-hand tilt and finger flexion, captured using accelerometer and flex sensors, for mobile base navigation, while right-hand IMU signals are processed through spectral analysis and classified by a lightweight neural network. This pipeline enables TinyML-based gesture recognition to control a 7-DOF Kinova Gen3 manipulator. By supporting simultaneous navigation and manipulation, the framework improves efficiency and coordination compared to sequential methods. Key contributions include a bimanual control architecture, real-time low-power gesture recognition, robust multimodal sensor fusion, and a scalable ROS-based implementation. The proposed approach advances Human-Robot Interaction (HRI) for industrial automation, assistive robotics, and hazardous environments, offering a cost-effective, open-source solution with strong potential for real-world deployment and further optimization.