ERR@HRI 2024 Challenge: Multimodal Detection of Errors and Failures in Human-Robot Interactions
作者: Micol Spitale, Maria Teresa Parreira, Maia Stiber, Minja Axelsson, Neval Kara, Garima Kankariya, Chien-Ming Huang, Malte Jung, Wendy Ju, Hatice Gunes
分类: cs.RO
发布日期: 2024-07-08
💡 一句话要点
ERR@HRI 2024挑战赛：多模态检测人机交互中的错误与失败
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 多模态学习 错误检测 机器人 数据集 机器学习 行为识别
📋 核心要点
- 现有机器人常犯错误且理解人类语音能力有限，导致人机交互体验不佳，亟需提升机器人对自身错误的检测能力。
- ERR@HRI 2024挑战赛提供了一个多模态数据集，包含面部、语音、姿势等特征，用于训练和评估机器人错误检测模型。
- 挑战赛使用准确率、精确率、召回率、F1分数等指标评估模型性能，旨在促进人机交互领域对机器人错误的理解和改进。
📝 摘要（中文）
尽管机器人和机器学习领域取得了最新进展，但在日常生活中部署自主机器人仍然是一个开放的挑战。这主要是由于它们频繁的错误，例如打断他人或响应延迟，以及它们理解人类语音的能力有限，例如在语音转文本等任务中失败。这些错误可能会扰乱交互，并对人类对这些机器人的看法产生负面影响。为了解决这个问题，机器人需要具备检测人机交互（HRI）失败的能力。ERR@HRI 2024挑战赛通过提供人机交互过程中机器人失败的基准多模态数据集来应对这一挑战，鼓励研究人员开发和评估多模态机器学习模型来检测这些失败。我们创建了一个数据集，其中包含多模态非语言交互数据，包括来自与机器人教练交互的视频片段的面部、语音和姿势特征，并标注了指示是否存在机器人错误、用户尴尬和交互中断的标签，从而可以训练和评估预测模型。挑战赛参与者被邀请提交他们的多模态机器学习模型以检测机器人错误，并根据各种性能指标（如准确率、精确率、召回率、F1分数）进行评估，无论是否具有反映这些指标时间敏感性的误差范围。这项挑战的结果将有助于研究领域更好地理解人机交互中的机器人失败，并设计能够成功检测到自身错误后减轻这些错误的自主机器人。
🔬 方法详解
问题定义：论文旨在解决人机交互过程中机器人错误难以检测的问题。现有方法在处理复杂多模态数据、实时性要求以及泛化能力方面存在不足，导致机器人无法及时识别并纠正自身错误，影响交互体验。
核心思路：论文的核心思路是利用多模态机器学习模型，融合来自面部表情、语音和姿势等多种模态的信息，更全面地理解人机交互状态，从而更准确地检测机器人错误。这种多模态融合能够弥补单一模态信息的局限性，提高错误检测的鲁棒性和准确性。
技术框架：该研究构建了一个包含多模态数据的基准数据集，数据来源于人与机器人教练的交互视频，包含面部、语音和姿势特征。数据集被标注了机器人错误、用户尴尬和交互中断等标签。挑战赛参与者利用该数据集训练多模态机器学习模型，并提交模型进行评估。评估指标包括准确率、精确率、召回率和F1分数。
关键创新：该研究的关键创新在于构建了一个公开可用的、标注详细的多模态人机交互数据集，为研究人员提供了一个统一的基准平台，用于开发和评估机器人错误检测模型。此外，挑战赛的形式也促进了不同研究团队之间的交流和合作，加速了该领域的发展。
关键设计：数据集包含视频片段，从中提取面部特征（如面部标志点、表情）、语音特征（如语音转录文本、声学特征）和姿势特征（如人体骨骼关键点）。标注过程考虑了时间敏感性，允许一定误差范围。模型评估采用了多种性能指标，以全面衡量模型的检测能力。
📊 实验亮点
ERR@HRI 2024挑战赛提供了一个标准化的多模态数据集，并采用准确率、精确率、召回率和F1分数等指标对参赛模型进行评估。通过挑战赛，可以比较不同多模态机器学习模型在机器人错误检测任务上的性能，并为未来的研究提供基准。具体性能数据和对比基线将在挑战赛结束后公布。
🎯 应用场景
该研究成果可应用于各种人机交互场景，例如智能家居、医疗辅助机器人、教育机器人等。通过提高机器人对自身错误的检测能力，可以显著改善用户体验，增强用户对机器人的信任感，并促进人机协作的效率和安全性。未来，该技术有望应用于更复杂的自主机器人系统中，使其能够自主学习和适应不同的交互环境。
📄 摘要（原文）
Despite the recent advancements in robotics and machine learning (ML), the deployment of autonomous robots in our everyday lives is still an open challenge. This is due to multiple reasons among which are their frequent mistakes, such as interrupting people or having delayed responses, as well as their limited ability to understand human speech, i.e., failure in tasks like transcribing speech to text. These mistakes may disrupt interactions and negatively influence human perception of these robots. To address this problem, robots need to have the ability to detect human-robot interaction (HRI) failures. The ERR@HRI 2024 challenge tackles this by offering a benchmark multimodal dataset of robot failures during human-robot interactions (HRI), encouraging researchers to develop and benchmark multimodal machine learning models to detect these failures. We created a dataset featuring multimodal non-verbal interaction data, including facial, speech, and pose features from video clips of interactions with a robotic coach, annotated with labels indicating the presence or absence of robot mistakes, user awkwardness, and interaction ruptures, allowing for the training and evaluation of predictive models. Challenge participants have been invited to submit their multimodal ML models for detection of robot errors and to be evaluated against various performance metrics such as accuracy, precision, recall, F1 score, with and without a margin of error reflecting the time-sensitivity of these metrics. The results of this challenge will help the research field in better understanding the robot failures in human-robot interactions and designing autonomous robots that can mitigate their own errors after successfully detecting them.