Let's move on: Topic Change in Robot-Facilitated Group Discussions
作者: Georgios Hadjiantonis, Sarah Gillet, Marynel Vázquez, Iolanda Leite, Fethiye Irmak Dogan
分类: cs.RO, cs.HC
发布日期: 2025-04-02
备注: 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN)
期刊: 2024 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN), Pasadena, CA, USA, 2024, pp. 2087-2094
DOI: 10.1109/RO-MAN60168.2024.10731390
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于机器学习和视听特征的机器人引导小组讨论中话题切换预测方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 机器人引导 小组讨论 话题管理 机器学习 视听特征 非语言行为
📋 核心要点
- 现有对话代理的话题管理研究侧重于人类参与和个性化，忽略了机器人在小组讨论中何时切换话题的探索。
- 本文提出利用机器学习模型和视听非语言特征来预测机器人引导讨论中合适的话题切换时机。
- 实验结果表明，该方法在识别不适当的话题切换方面表现出色，且声学特征的性能与多模态特征相当。
📝 摘要（中文）
本文研究了机器人引导的小组讨论中，利用机器学习模型和视听非语言特征预测合适话题切换时机的问题。现有关于对话代理话题管理的工作主要集中于人类参与和话题个性化，代理在讨论中扮演积极角色。虽然已有研究表明机器人参与小组讨论的有效性，但仍需进一步探索机器人在引导讨论时何时切换话题。本文利用机器人引导人类参与者互动的交互数据，对其进行标注，并提取声学和肢体语言相关特征。通过对使用序列和非序列数据以及不同特征集的机器学习方法的性能进行详细分析，结果表明，在分类不适当的话题切换方面表现出良好的性能，优于基于规则的方法。此外，与完整的多模态特征集相比，声学特征表现出相当的性能和鲁棒性。标注数据已公开。
🔬 方法详解
问题定义：论文旨在解决机器人引导小组讨论中，机器人何时应该切换话题的问题。现有方法主要依赖于人工规则或侧重于对话代理的主动话题管理，缺乏对小组讨论场景下，利用非语言线索判断话题切换时机的研究。这导致机器人可能在不合适的时机切换话题，影响讨论的流畅性和参与者的体验。
核心思路：论文的核心思路是利用机器学习模型，学习人类在小组讨论中表达的非语言线索（声学和肢体语言），从而预测何时是合适的话题切换时机。通过分析这些非语言特征，模型可以判断当前话题是否已经讨论充分，或者参与者是否已经失去兴趣，从而做出更明智的切换决策。
技术框架：整体框架包括数据采集、数据标注、特征提取、模型训练和评估几个主要阶段。首先，采集机器人引导人类参与者进行小组讨论的交互数据。然后，对数据进行标注，标记出合适和不合适的话题切换点。接着，从音频和视频数据中提取声学和肢体语言相关的特征。最后，使用机器学习模型（如支持向量机、随机森林等）进行训练，并评估模型在预测话题切换时机方面的性能。
关键创新：论文的关键创新在于将机器学习方法应用于机器人引导小组讨论的话题切换预测，并探索了视听非语言特征在其中的作用。与传统的基于规则的方法相比，该方法能够更好地适应小组讨论的动态性和复杂性。此外，论文还发现，仅使用声学特征就能达到与多模态特征相当的性能，这为实际应用提供了便利。
关键设计：论文中，特征提取阶段是关键设计之一。声学特征包括语速、音量、停顿等，肢体语言特征包括头部运动、手势、姿势等。模型选择方面，论文尝试了多种机器学习模型，并比较了它们的性能。此外，论文还使用了序列数据和非序列数据，以探索时间信息对预测结果的影响。标注数据是二分类，即合适或不合适切换。模型评估指标包括准确率、精确率、召回率和F1值。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于机器学习的方法在分类不适当的话题切换方面表现出良好的性能，优于基于规则的方法。具体而言，使用完整的多模态特征集时，模型性能显著提升。更令人惊讶的是，仅使用声学特征，模型也能达到与多模态特征相当的性能和鲁棒性，这为实际部署提供了便利，降低了对复杂视觉传感器的依赖。
🎯 应用场景
该研究成果可应用于各种人机协作场景，例如教育机器人辅助课堂讨论、会议机器人引导会议流程、以及社交机器人促进群体交流。通过更智能的话题管理，机器人可以提升用户参与度，提高协作效率，并改善用户体验。未来，该技术还可扩展到虚拟会议和在线学习平台。
📄 摘要（原文）
Robot-moderated group discussions have the potential to facilitate engaging and productive interactions among human participants. Previous work on topic management in conversational agents has predominantly focused on human engagement and topic personalization, with the agent having an active role in the discussion. Also, studies have shown the usefulness of including robots in groups, yet further exploration is still needed for robots to learn when to change the topic while facilitating discussions. Accordingly, our work investigates the suitability of machine-learning models and audiovisual non-verbal features in predicting appropriate topic changes. We utilized interactions between a robot moderator and human participants, which we annotated and used for extracting acoustic and body language-related features. We provide a detailed analysis of the performance of machine learning approaches using sequential and non-sequential data with different sets of features. The results indicate promising performance in classifying inappropriate topic changes, outperforming rule-based approaches. Additionally, acoustic features exhibited comparable performance and robustness compared to the complete set of multimodal features. Our annotated data is publicly available at https://github.com/ghadj/topic-change-robot-discussions-data-2024.