Object Augmentation Algorithm: Computing virtual object motion and object induced interaction wrench from optical markers

📄 arXiv: 2408.07434v3 📥 PDF

作者: Christopher Herneth, Junnan Li, Muhammad Hilman Fatoni, Amartya Ganguly, Sami Haddadin

分类: cs.RO

发布日期: 2024-08-14 (更新: 2024-11-25)

备注: An open source implementation of the described algorithm is available at https://github.com/ChristopherHerneth/ObjectAugmentationAlgorithm/tree/main. Accompanying video material may be found here https://youtu.be/8oz-awvyNRA. The article was accepted at IROS 2024

💡 一句话要点

提出物体增强算法OAA，用于从光学标记数据中估计虚拟物体运动和物体引起的交互力矩，扩展人机交互数据集。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 物体增强 人机交互 逆运动学 逆动力学 关节力矩估计 光学标记 数据集增强

📋 核心要点

  1. 现有的人体日常活动数据集中，缺乏对物体操作时关节力矩影响的全面分析，限制了相关研究。
  2. 论文提出物体增强算法OAA，通过虚拟物体运动和力矩估计，扩展现有的基于标记的数据集。
  3. 实验结果表明，OAA能够准确估计物体运动和关节力矩，计算值与测量值高度相关（>0.93）。

📝 摘要（中文）

本研究旨在解决日常活动(ADL)中人体手臂关节力矩数据匮乏的问题，尤其关注物体对关节力矩的影响。现有研究往往忽略了这一点，导致数据集有限。为此，我们提出了一种物体增强算法(OAA)，能够利用现有的基于标记的数据集，增强虚拟物体运动和物体引起的关节力矩估计。OAA包含五个阶段：(1)从光学标记计算手部坐标系，(2)用虚拟标记表征物体运动，(3)通过逆运动学(IK)计算物体运动，(4)使用逆动力学(ID)确定指定物体运动所需的力，(5)计算物体操作引起的关节力矩。在5+4自由度(DoF)的机器人手-臂系统上，通过轨迹跟踪和力矩分析，验证了该算法的准确性，该系统操纵三个独特的物体。结果表明，OAA能够准确、精确地估计6自由度的物体运动和物体引起的关节力矩。计算值与测量值之间的相关性，物体轨迹>0.99，关节力矩>0.93。OAA对输入标记的数量和位置的变化具有鲁棒性。重复实验之间的差异很小但显著(p < 0.05)。该算法扩展了可用数据的范围，并有助于更全面地分析人-物交互动力学。

🔬 方法详解

问题定义：现有的人体日常活动(ADL)数据集在分析人与物体交互时，往往忽略了物体对人体关节力矩的影响。这导致数据集在描述真实世界人机交互场景时存在局限性，阻碍了相关算法的训练和验证。因此，需要一种方法来增强现有数据集，补充物体操作对关节力矩的影响信息。

核心思路：论文的核心思路是通过在现有的基于光学标记的人体运动数据中，引入虚拟物体，并利用逆运动学和逆动力学方法，计算物体运动和物体引起的关节力矩。这样，即使原始数据没有包含物体信息，也可以通过算法推断出来，从而扩展数据集。

技术框架：OAA算法包含五个主要阶段： 1. 手部坐标系计算：从光学标记数据中提取手部坐标系。 2. 虚拟标记表征物体运动：使用虚拟标记来描述物体的运动轨迹。 3. 逆运动学(IK)计算物体运动：根据手部运动和物体相对位置，计算物体的运动轨迹。 4. 逆动力学(ID)计算所需力：根据物体运动轨迹，计算维持该运动所需的力和力矩。 5. 关节力矩计算：根据物体受到的力和力矩，计算物体操作引起的关节力矩。

关键创新：该算法的关键创新在于能够从仅包含人体运动数据的光学标记数据中，推断出物体运动和物体引起的关节力矩。这使得可以利用现有的数据集，而无需重新采集包含物体信息的数据。此外，该算法对标记数量和位置的变化具有鲁棒性，使其适用于不同的数据集。

关键设计：算法的关键设计包括： 1. 使用虚拟标记来简化物体运动的描述。 2. 利用逆运动学和逆动力学方法，实现物体运动和关节力矩的计算。 3. 算法对输入标记数量和位置具有鲁棒性，通过实验验证了其在不同数据集上的适用性。 4. 实验中使用了5+4自由度的机器人手-臂系统，并操纵了三种不同的物体，以验证算法的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OAA算法能够准确估计6自由度的物体运动和物体引起的关节力矩。计算值与测量值之间的相关性，物体轨迹>0.99，关节力矩>0.93。此外，该算法对输入标记的数量和位置的变化具有鲁棒性，重复实验之间的差异很小但显著(p < 0.05)。这些结果表明，OAA算法具有较高的准确性和鲁棒性。

🎯 应用场景

该研究成果可应用于人机协作机器人、康复机器人、虚拟现实等领域。通过增强人机交互数据集，可以提高机器人对人类动作的理解能力，从而实现更安全、更高效的人机协作。此外，该算法还可用于分析人体在日常活动中的生物力学特性，为康复治疗提供指导。

📄 摘要（原文）

This study addresses the critical need for diverse and comprehensive data focused on human arm joint torques while performing activities of daily living (ADL). Previous studies have often overlooked the influence of objects on joint torques during ADL, resulting in limited datasets for analysis. To address this gap, we propose an Object Augmentation Algorithm (OAA) capable of augmenting existing marker-based databases with virtual object motions and object-induced joint torque estimations. The OAA consists of five phases: (1) computing hand coordinate systems from optical markers, (2) characterising object movements with virtual markers, (3) calculating object motions through inverse kinematics (IK), (4) determining the wrench necessary for prescribed object motion using inverse dynamics (ID), and (5) computing joint torques resulting from object manipulation. The algorithm's accuracy is validated through trajectory tracking and torque analysis on a 5+4 degree of freedom (DoF) robotic hand-arm system, manipulating three unique objects. The results show that the OAA can accurately and precisely estimate 6 DoF object motion and object-induced joint torques. Correlations between computed and measured quantities were > 0.99 for object trajectories and > 0.93 for joint torques. The OAA was further shown to be robust to variations in the number and placement of input markers, which are expected between databases. Differences between repeated experiments were minor but significant (p < 0.05). The algorithm expands the scope of available data and facilitates more comprehensive analyses of human-object interaction dynamics.