A Robust Filter for Marker-less Multi-person Tracking in Human-Robot Interaction Scenarios

📄 arXiv: 2406.01832v1 📥 PDF

作者: Enrico Martini, Harshil Parekh, Shaoting Peng, Nicola Bombieri, Nadia Figueroa

分类: cs.RO, cs.AI, cs.HC

发布日期: 2024-06-03

备注: Published by and copyright protected by IEEE, 6 pages, 3 figures, 33rd IEEE International Conference on Robot & Human Interactive Communication (RO-MAN 2024)

DOI: 10.1109/RO-MAN60168.2024.10731365

💡 一句话要点

提出一种鲁棒的滤波方法，用于人机交互场景中无标记多人跟踪

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人机交互 无标记跟踪 人体姿态估计 RGB-D相机 滤波算法

📋 核心要点

  1. 现有无标记人机交互方法易受人体姿态估计和深度相机误差的影响，导致机器人抖动，降低用户信任。
  2. 论文提出一种滤波流水线，利用RGB-D数据优化不完整3D人体姿态，解决遮挡问题，提升交互质量。
  3. 实验结果表明，该滤波方法能有效减少机器人意外运动，提供更平滑的交互体验，提升运动表示的一致性。

📝 摘要（中文）

本文致力于解决人机交互(HRI)中自然且无标记交互的长期挑战。无标记方法旨在提升用户体验，但现有技术在处理人体姿态估计(HPE)和深度相机固有误差时面临困难。这些误差会导致机器人抖动等问题，从而显著降低用户对协作系统的信任。为此，我们提出了一种滤波流水线，该流水线能够优化来自HPE骨干网络和单个RGB-D相机的不完整3D人体姿态，从而解决可能降低交互质量的遮挡问题。实验结果表明，使用所提出的滤波器可以获得更一致、更无噪声的运动表示，减少意外的机器人运动，并实现更流畅的交互。

🔬 方法详解

问题定义：论文旨在解决人机交互场景中，由于人体姿态估计(HPE)和深度相机的固有误差，导致无标记多人跟踪系统性能下降的问题。现有的方法容易受到噪声和遮挡的影响，使得机器人产生不稳定的运动，从而影响用户体验和信任度。

核心思路：论文的核心思路是通过设计一个滤波流水线，对HPE的结果进行优化，从而减少噪声和处理遮挡。该流水线利用RGB-D数据，结合时间信息和空间约束，对人体姿态进行平滑和补全，从而获得更稳定和准确的运动表示。这样可以减少机器人因感知误差而产生的意外运动。

技术框架：该滤波流水线主要包含以下几个阶段：1) 使用HPE骨干网络和RGB-D相机获取初始3D人体姿态估计；2) 对初始姿态进行滤波，包括时间滤波和空间滤波，以减少噪声；3) 处理遮挡，利用深度信息和姿态先验知识，对被遮挡的关节进行估计和补全；4) 将滤波后的姿态信息传递给机器人控制系统，实现更平滑的人机交互。

关键创新：论文的关键创新在于提出了一种鲁棒的滤波方法，能够有效地处理HPE和深度相机的固有误差，并解决遮挡问题。该方法结合了时间滤波和空间滤波，能够有效地减少噪声，并利用深度信息和姿态先验知识，对被遮挡的关节进行估计和补全。此外，该方法还考虑了人机交互的特殊场景，针对性地设计了滤波参数和策略。

关键设计：论文中滤波器的具体实现细节未知，摘要中没有提及具体的参数设置、损失函数或网络结构。但是，可以推断，时间滤波可能采用了卡尔曼滤波或类似的平滑算法，空间滤波可能利用了人体运动学的约束。遮挡处理可能使用了基于深度信息的补全算法，或者基于姿态先验知识的插值方法。具体的技术细节需要在论文正文中查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的滤波方法能够显著减少机器人意外运动，提供更平滑的交互体验。具体性能数据未知，但摘要强调了运动表示的一致性和无噪声特性得到了提升。与未采用滤波的方法相比，该方法能够提高人机交互的稳定性和可靠性，从而增强用户的信任感。

🎯 应用场景

该研究成果可应用于各种人机协作场景，例如工业机器人辅助装配、医疗康复机器人、家庭服务机器人等。通过提高机器人感知的准确性和稳定性，可以实现更自然、更流畅的人机交互，提升工作效率和用户体验。未来，该技术还可以扩展到虚拟现实和增强现实等领域，实现更逼真的人机互动。

📄 摘要（原文）

Pursuing natural and marker-less human-robot interaction (HRI) has been a long-standing robotics research focus, driven by the vision of seamless collaboration without physical markers. Marker-less approaches promise an improved user experience, but state-of-the-art struggles with the challenges posed by intrinsic errors in human pose estimation (HPE) and depth cameras. These errors can lead to issues such as robot jittering, which can significantly impact the trust users have in collaborative systems. We propose a filtering pipeline that refines incomplete 3D human poses from an HPE backbone and a single RGB-D camera to address these challenges, solving for occlusions that can degrade the interaction. Experimental results show that using the proposed filter leads to more consistent and noise-free motion representation, reducing unexpected robot movements and enabling smoother interaction.