Imitation of Arm Gestures by the Semi-Humanoid Robot NICO

📄 arXiv: 2607.18197v1 📥 PDF

作者: Anastasiya Ihnatovich, Igor Farkaš

分类: cs.RO

发布日期: 2026-07-20

备注: 15 pages, 7 figures, accepted to Human-Friendly Robotics workshop 2026

💡 一句话要点

提出基于MediaPipe的手臂动作模仿系统以提升人机交互

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人机交互 手势模仿 类人机器人 MediaPipe 姿态估计 解析几何 运动执行

📋 核心要点

  1. 现有的人机交互系统在模仿人类手势方面存在技术挑战，尤其是在复杂姿势和手腕动作的处理上。
  2. 本文提出了一种基于MediaPipe的手臂动作模仿系统，通过解析几何计算关节角度并映射到机器人运动中。
  3. 初步实验结果显示，该系统能够有效生成模仿动作，尽管在某些复杂姿势下仍有改进空间。

📝 摘要（中文）

无缝的人机交互（HRI）需要机器人具备多种感知和运动能力，其中模仿人类手势是关键能力之一。类人机器人因其类人特征在HRI中具有优势。本文开发了一种基于解析几何和预训练MediaPipe姿态估计模型的半类人机器人NICO的手臂动作模仿系统。通过MediaPipe框架获取每个输入RGB帧中相关的人体关键点的3D坐标，计算关节角度，并将其映射到NICO的运动配置中。初步实验表明，该方法能够仅通过单目RGB输入生成有意义的模仿动作，但在复杂姿势和手腕相关运动中存在局限性。

🔬 方法详解

问题定义：本文旨在解决现有机器人在模仿人类手势时的局限性，特别是在复杂姿势和手腕动作的表现不足。

核心思路：通过使用MediaPipe框架提取人体关键点的3D坐标，结合解析几何计算关节角度，从而实现对人类手势的有效模仿。

技术框架：系统主要包括三个模块：1) RGB输入处理，使用MediaPipe提取人体关键点；2) 关节角度计算，基于提取的3D坐标进行解析几何计算；3) 运动执行，将计算出的关节角度映射到NICO的运动配置中并执行。

关键创新：该研究的创新点在于将MediaPipe姿态估计与解析几何结合，提供了一种新的手势模仿方法，克服了传统方法在复杂姿势处理上的不足。

关键设计：在参数设置上，选择了适合的关键点提取算法，并设计了有效的关节角度计算公式，确保了模仿动作的准确性和流畅性。实验中使用了多位参与者以验证系统的普适性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法能够有效生成模仿动作，尤其在简单手势中表现良好。与传统方法相比，系统在单目RGB输入下的表现显著提升，但在复杂姿势和手腕动作的处理上仍需进一步优化。

🎯 应用场景

该研究的潜在应用领域包括人机交互、教育培训、康复机器人等。通过提升机器人模仿人类动作的能力，可以增强人机协作的自然性和有效性，未来可能推动智能机器人在更多场景中的应用。

📄 摘要（原文）

Seamless human-robot interaction (HRI) requires a number of perceptual and motor abilities from the robot, one of them being the imitation of human gestures. Humanoid robots have an advantage in HRI thanks to their anthropomorphic features. In this work, we develop a system for imitation of human arm gestures by the semi-humanoid robot NICO based on analytical geometry and a pretrained MediaPipe pose-estimation model. For each input RGB frame, 3D coordinates of relevant human body landmarks, including arm joints and hand keypoints, are obtained using the MediaPipe framework. Joint angles are then computed from these coordinates using derived geometric relations. Finally, the computed angles are properly mapped to NICO's motor configuration and executed in a predefined motion sequence. Preliminary experiments on several representative arm gestures with six participants of different height indicate that the proposed method can produce meaningful imitative motions from monocular RGB input only, while also highlighting limitations in more complex poses and wrist-related movements.