REFLEX Dataset: A Multimodal Dataset of Human Reactions to Robot Failures and Explanations

📄 arXiv: 2502.14185v1 📥 PDF

作者: Parag Khanna, Andreas Naoum, Elmira Yadollahi, Mårten Björkman, Christian Smith

分类: cs.RO

发布日期: 2025-02-20

备注: Accepted and to appear in the IEEE/ACM Conference on Human Robot Interaction 2025

💡 一句话要点

REFLEX数据集：用于研究人-机器人协作中失败与解释的多模态反应数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 机器人失败 解释策略 多模态数据 情感计算

📋 核心要点

  1. 现有研究缺乏对机器人失败后人类反应，特别是对解释反应的深入分析，限制了人机协作系统的优化。
  2. REFLEX数据集通过记录人类对机器人失败和解释的多模态反应，为研究人机交互动态提供了丰富的数据基础。
  3. 该数据集旨在促进开发更鲁棒、自适应的机器人系统，从而在挑战性场景下维持与人类合作者的积极关系。

📝 摘要（中文）

本研究提出了REFLEX数据集，即“机器人失败解释与人类表情”数据集，它是一个综合性的多模态数据集，旨在捕捉人类在协作环境中对机器人失败以及后续解释的反应。该数据集旨在促进对人-机器人交互动态的研究，满足研究人员对初始失败和解释的反应，以及这些反应在长期交互中演变的需求。通过提供关于人类对不同类型的失败、解释水平和解释策略的丰富带注释数据，该数据集有助于开发更鲁棒、自适应和令人满意的机器人系统，即使在重复失败等挑战中，也能与人类合作者保持积极的关系。

🔬 方法详解

问题定义：现有的人机交互研究通常关注机器人性能的提升，而忽略了机器人出现失败时，人类的反应以及机器人如何通过解释来修复关系。缺乏对这些反应的深入理解，使得机器人难以在复杂和动态的环境中与人类建立有效的协作关系。特别是，如何根据失败类型和解释策略来调整机器人的行为，以最大程度地减少负面影响，是一个重要的挑战。

核心思路：REFLEX数据集的核心思路是通过收集和标注人类对机器人失败和解释的多模态数据，来揭示人机交互的动态过程。通过分析这些数据，研究人员可以了解不同类型的失败和解释如何影响人类的情绪、信任和行为，从而为设计更有效的人机协作策略提供依据。

技术框架：REFLEX数据集的构建涉及以下几个主要阶段：首先，设计了一系列人机协作任务，模拟了机器人可能出现的各种失败情况。其次，记录了人类在面对这些失败以及机器人提供的解释时的多模态数据，包括面部表情、语音、生理信号和行为数据。然后，对这些数据进行标注，包括失败类型、解释水平、人类情绪和行为反应等。最后，将这些数据整理成一个公开可用的数据集，供研究人员使用。

关键创新：REFLEX数据集的关键创新在于其全面性和多模态性。它不仅记录了人类对机器人失败的反应，还记录了对机器人解释的反应，从而可以更全面地了解人机交互的动态过程。此外，该数据集还包含了多种模态的数据，包括面部表情、语音、生理信号和行为数据，从而可以更深入地分析人类的情绪和行为反应。

关键设计：数据集的设计考虑了多种因素，包括失败的类型（例如，运动失败、感知失败）、解释的水平（例如，无解释、简单解释、详细解释）以及解释的策略（例如，道歉、承诺改进）。此外，数据集还包含了关于人类参与者的背景信息，例如年龄、性别和对机器人的经验，以便研究人员可以分析不同人群的反应差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REFLEX数据集包含丰富的人类对机器人失败和解释的反应数据，涵盖多种失败类型、解释水平和解释策略。初步分析表明，人类对不同类型的失败和解释的反应存在显著差异，例如，详细的解释通常比简单的解释更能有效缓解负面情绪。该数据集为研究人机交互动态提供了宝贵资源，并有望推动人机协作领域的进步。

🎯 应用场景

REFLEX数据集可应用于开发更智能、更具同理心的人机协作系统。例如，机器人可以利用该数据集学习如何根据人类的反应来调整其行为和解释策略，从而在失败发生时更好地修复关系。此外，该数据集还可以用于评估不同人机交互策略的有效性，从而为设计更有效的人机协作界面提供依据。未来的影响包括改善人机协作效率、提高用户满意度以及增强人机信任。

📄 摘要（原文）

This work presents REFLEX: Robotic Explanations to FaiLures and Human EXpressions, a comprehensive multimodal dataset capturing human reactions to robot failures and subsequent explanations in collaborative settings. It aims to facilitate research into human-robot interaction dynamics, addressing the need to study reactions to both initial failures and explanations, as well as the evolution of these reactions in long-term interactions. By providing rich, annotated data on human responses to different types of failures, explanation levels, and explanation varying strategies, the dataset contributes to the development of more robust, adaptive, and satisfying robotic systems capable of maintaining positive relationships with human collaborators, even during challenges like repeated failures.