Human Gaze and Head Rotation during Navigation, Exploration and Object Manipulation in Shared Environments with Robots

📄 arXiv: 2406.06300v1 📥 PDF

作者: Tim Schreiter, Andrey Rudenko, Martin Magnusson, Achim J. Lilienthal

分类: cs.RO

发布日期: 2024-06-10

备注: This is the final version of the accepted version of the manuscript that will be published in the 2024 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN). Copyright 2024 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses

期刊: 2024 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN)

💡 一句话要点

研究人机共享环境中导航、探索和操作时的人类注视与头部旋转协调性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人机交互 注视跟踪 头部旋转 语义理解 行为分析

📋 核心要点

  1. 人类注视是重要的意图信号，能反映注意力、干扰和感兴趣区域，但现有方法缺乏对动态人机交互中注视行为的深入理解。
  2. 本文通过分析注视方向与头部旋转的协调性，并结合语义信息，深入理解人类在不同活动中的注视行为模式。
  3. 实验结果表明，提出的方法能够有效分析人机交互场景下的注视行为，为机器人理解人类意图提供依据。

📝 摘要（中文）

本文利用THÖR-MAGNI数据集中丰富的人类运动数据，研究了人类在导航、物体交互以及与移动机器人协作等室内活动中，注视方向与头部旋转之间的协调性。特别地，我们研究了不同活动中注视点的分布和中心偏向，并检验了注视方向与头部旋转之间的相关性。我们引入了各种人类运动指标，以增强对动态交互中注视行为的理解。最后，我们应用语义对象标签将注视分布分解为与活动相关的区域。

🔬 方法详解

问题定义：论文旨在解决人机共享环境中，机器人如何更好地理解人类意图的问题。现有方法通常忽略了人类注视行为与头部旋转之间的关系，以及环境语义信息对注视行为的影响，导致机器人难以准确判断人类的意图和关注点。

核心思路：论文的核心思路是结合人类的注视方向、头部旋转以及环境的语义信息，来更全面地理解人类的意图。通过分析注视点在不同活动中的分布，以及注视方向与头部旋转之间的相关性，可以揭示人类在不同情境下的注视行为模式。

技术框架：论文的技术框架主要包括以下几个阶段：1) 数据采集：使用THÖR-MAGNI数据集，该数据集包含人类在导航、物体交互和与机器人协作等活动中的运动数据，包括注视跟踪数据和头部姿态数据。2) 数据处理：对原始数据进行预处理，包括数据清洗、校准和同步。3) 特征提取：提取注视方向、头部旋转等特征，并计算它们之间的相关性。4) 语义分析：利用语义对象标签将注视分布分解为与活动相关的区域。5) 行为分析：分析不同活动中注视点的分布和中心偏向，以及注视方向与头部旋转之间的关系。

关键创新：论文的关键创新在于：1) 结合注视方向、头部旋转和环境语义信息，更全面地理解人类意图。2) 引入了各种人类运动指标，以增强对动态交互中注视行为的理解。3) 利用语义对象标签将注视分布分解为与活动相关的区域，从而更好地理解人类的关注点。

关键设计：论文的关键设计包括：1) 使用THÖR-MAGNI数据集，该数据集包含丰富的人类运动数据，为研究提供了可靠的数据基础。2) 引入了多种人类运动指标，例如注视点密度、注视持续时间等，以更全面地描述注视行为。3) 利用语义对象标签，将注视分布与环境语义信息相结合，从而更好地理解人类的关注点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过对THÖR-MAGNI数据集的分析，揭示了人类在不同活动中注视行为的模式。实验结果表明，注视方向与头部旋转之间存在显著的相关性，并且注视点在不同活动中呈现出不同的分布特征。此外，通过结合语义对象标签，可以更好地理解人类的关注点。

🎯 应用场景

该研究成果可应用于人机协作机器人、智能辅助驾驶、虚拟现实等领域。通过理解人类的注视行为，机器人可以更好地预测人类的意图，从而实现更自然、更高效的人机交互。例如，在人机协作机器人中，机器人可以根据人类的注视方向来判断人类想要操作的物体，从而主动提供帮助。

📄 摘要（原文）

The human gaze is an important cue to signal intention, attention, distraction, and the regions of interest in the immediate surroundings. Gaze tracking can transform how robots perceive, understand, and react to people, enabling new modes of robot control, interaction, and collaboration. In this paper, we use gaze tracking data from a rich dataset of human motion (THÖR-MAGNI) to investigate the coordination between gaze direction and head rotation of humans engaged in various indoor activities involving navigation, interaction with objects, and collaboration with a mobile robot. In particular, we study the spread and central bias of fixations in diverse activities and examine the correlation between gaze direction and head rotation. We introduce various human motion metrics to enhance the understanding of gaze behavior in dynamic interactions. Finally, we apply semantic object labeling to decompose the gaze distribution into activity-relevant regions.