Human-Robot Interaction Conversational User Enjoyment Scale (HRI CUES)

📄 arXiv: 2405.01354v3 📥 PDF

作者: Bahar Irfan, Jura Miniota, Sofia Thunberg, Erik Lagerstedt, Sanna Kuoppamäki, Gabriel Skantze, André Pereira

分类: cs.RO, cs.HC

发布日期: 2024-05-02 (更新: 2025-08-12)

备注: Published in IEEE Transactions on Affective Computing on 18 July 2025. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media

期刊: IEEE Transactions on Affective Computing 2025

DOI: 10.1109/TAFFC.2025.3590359

💡 一句话要点

提出人机交互对话用户愉悦度量表(HRI CUES)，用于外部评估对话型社交机器人交互中的用户愉悦度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 用户愉悦度 对话系统 社交机器人 情感评估

📋 核心要点

  1. 现有HRI研究依赖自我报告问卷评估用户愉悦度，缺乏对交互动态的捕捉。
  2. 提出HRI CUES量表，通过外部注释者评估用户在人机对话中的愉悦程度。
  3. 实验表明，该量表在老年人交互场景下具有中等到良好的注释者一致性。

📝 摘要（中文）

理解用户愉悦度在人机交互(HRI)中至关重要，因为它会影响交互质量，并影响用户对机器人的接受度和长期参与度，尤其是在与社交机器人对话的背景下。然而，目前的评估方法仅依赖于自我报告问卷，无法捕捉交互动态。本研究提出了人机交互对话用户愉悦度量表(HRI CUES)，这是一个新颖的5点量表，用于从外部视角(例如，由注释者)评估与机器人对话中的用户愉悦度。该量表是通过三位具有相关专业知识的注释者之间的严格评估和讨论而开发的，使用了由大型语言模型驱动的伴侣机器人的开放域对话，并将其应用于每次对话交流(即机器人-参与者回合对)以及整体交互。它在25名老年人与伴侣机器人的互动中进行了评估，对应于174分钟的数据，显示了注释者之间中等到良好的对齐。虽然该量表是在老年人与机器人互动的背景下开发和测试的，但其基于一般和非特定于任务的愉悦度指标支持其更广泛的适用性。该研究进一步提供了对理解机器人交互中评估用户愉悦度的细微差别和挑战的见解，并提供了关于将该量表应用于其他领域和人群的指南。数据集已在线提供。

🔬 方法详解

问题定义：现有的人机交互研究，特别是对话型社交机器人领域，在评估用户愉悦度时主要依赖于用户自我报告的问卷调查。这种方法的局限性在于无法捕捉交互过程中的动态变化，并且可能受到用户主观认知偏差的影响。因此，需要一种能够从外部视角客观评估用户愉悦度的方法。

核心思路：本研究的核心思路是设计一种可由外部观察者（例如注释者）使用的量表，用于评估用户在与机器人对话过程中的愉悦程度。该量表基于对用户行为和表情的观察，以及对对话内容的理解，从而更全面地评估用户的真实感受。这样设计的目的是为了克服自我报告问卷的主观性和局限性。

技术框架：HRI CUES量表是一个5点量表，用于评估每次机器人-参与者回合对以及整体交互的愉悦度。该量表的开发过程包括：1) 由三位具有相关专业知识的注释者进行严格评估和讨论；2) 使用由大型语言模型驱动的伴侣机器人进行开放域对话；3) 将量表应用于每次对话交流和整体交互。评估过程包括注释者之间的对齐度评估，以确保量表的可靠性。

关键创新：该研究的关键创新在于提出了一个从外部视角评估人机对话中用户愉悦度的量表。与传统的自我报告方法相比，HRI CUES量表能够更客观地捕捉交互过程中的动态变化，并减少主观认知偏差的影响。此外，该量表的设计基于一般和非特定于任务的愉悦度指标，使其具有更广泛的适用性。

关键设计：HRI CUES量表的关键设计在于其5点量表的设计，以及用于指导注释者评估愉悦度的具体指标。这些指标包括用户的情绪表达、参与程度、对话流畅性等。此外，研究人员还提供了关于将该量表应用于其他领域和人群的指南，以提高其通用性和可扩展性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究在25名老年人与伴侣机器人的互动中进行了评估，对应于174分钟的数据，结果显示注释者之间具有中等到良好的对齐度。这表明HRI CUES量表具有较好的可靠性和一致性，可以作为一种有效的评估工具。

🎯 应用场景

该研究成果可应用于社交机器人、辅助机器人等领域，用于实时评估用户在人机交互过程中的情感状态，从而使机器人能够根据用户的反馈调整交互策略，提升用户体验和满意度。该量表还可用于评估不同机器人交互设计的有效性，指导机器人交互系统的优化。

📄 摘要（原文）

Understanding user enjoyment is crucial in human-robot interaction (HRI), as it can impact interaction quality and influence user acceptance and long-term engagement with robots, particularly in the context of conversations with social robots. However, current assessment methods rely solely on self-reported questionnaires, failing to capture interaction dynamics. This work introduces the Human-Robot Interaction Conversational User Enjoyment Scale (HRI CUES), a novel 5-point scale to assess user enjoyment from an external perspective (e.g. by an annotator) for conversations with a robot. The scale was developed through rigorous evaluations and discussions among three annotators with relevant expertise, using open-domain conversations with a companion robot that was powered by a large language model, and was applied to each conversation exchange (i.e. a robot-participant turn pair) alongside overall interaction. It was evaluated on 25 older adults' interactions with the companion robot, corresponding to 174 minutes of data, showing moderate to good alignment between annotators. Although the scale was developed and tested in the context of older adult interactions with a robot, its basis in general and non-task-specific indicators of enjoyment supports its broader applicability. The study further offers insights into understanding the nuances and challenges of assessing user enjoyment in robot interactions, and provides guidelines on applying the scale to other domains and populations. The dataset is available online.