Multimodal Transformer Models for Turn-taking Prediction: Effects on Conversational Dynamics of Human-Agent Interaction during Cooperative Gameplay
作者: Young-Ho Bae, Casey C. Bennett
分类: cs.HC, cs.AI, cs.CL
发布日期: 2025-02-05
备注: 36 pages
💡 一句话要点
提出基于多模态Transformer的轮流发言预测模型，提升人机协作游戏中的对话流畅性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 轮流发言预测 多模态融合 Transformer模型 协作游戏
📋 核心要点
- 现有的人机交互系统在轮流发言预测方面存在不足，难以自然流畅地进行对话，尤其是在复杂的多模态协作环境中。
- 论文提出一种基于Crossmodal Transformer的多模态融合模型，同时考虑文本、视觉、音频和游戏上下文信息，以更准确地预测轮流发言时机。
- 实验结果表明，该模型在轮流发言预测任务上取得了显著提升，准确率达到87.3%，宏F1分数达到83.0%，用户研究也验证了其在提升对话流畅性方面的有效性。
📝 摘要（中文）
本研究探讨了人机交互（HAI）中的多模态轮流发言预测，特别关注协作游戏环境。研究包括模型开发和后续用户研究，旨在加深我们对口语对话系统（SDS）中会话动态的理解并加以改进。在建模阶段，我们引入了一种新颖的基于Transformer的深度学习（DL）模型，该模型同时整合了文本、视觉、音频和上下文游戏内数据，以实时预测轮流发言事件。我们的模型采用Crossmodal Transformer架构，有效地融合来自这些不同模态的信息，从而实现更全面的轮流发言预测。该模型表现出优于基线模型的性能，实现了87.3%的准确率和83.0%的宏F1分数。随后进行了一项人类用户研究，以实证评估在玩游戏“饥荒”时，虚拟化身交互场景中的轮流发言DL模型，将没有轮流发言预测的控制条件（n=20）与部署了我们模型的实验条件（n=40）进行比较。两种情况都包括英语和韩语使用者，因为众所周知，轮流发言的线索因文化而异。然后，我们分析了交互质量，检查了诸如话语数量、中断频率以及参与者对化身的看法等方面。用户研究的结果表明，我们的多模态轮流发言模型不仅增强了人机对话的流畅性和自然性，而且保持了平衡的会话动态，而没有显着改变对话频率。该研究提供了对轮流发言能力对用户感知和交互质量的影响的深入见解，强调了更具上下文适应性和响应性的会话代理的潜力。
🔬 方法详解
问题定义：论文旨在解决人机交互中轮流发言预测不准确的问题，尤其是在协作游戏环境中。现有方法通常只依赖单一模态的信息（如文本或音频），忽略了其他模态（如视觉和游戏上下文）提供的丰富线索，导致预测精度不高，影响了对话的自然性和流畅性。
核心思路：论文的核心思路是利用多模态信息融合来提升轮流发言预测的准确性。通过将文本、视觉、音频和游戏上下文信息整合到一个统一的模型中，可以更全面地理解对话的语境，从而更准确地预测发言者的意图和轮流发言的时机。
技术框架：该模型采用基于Transformer的Crossmodal架构。整体流程如下：首先，对每个模态的信息进行特征提取；然后，利用Crossmodal Transformer模块将不同模态的特征进行融合；最后，使用一个分类器预测下一个发言者。主要模块包括：文本编码器、视觉编码器、音频编码器、游戏上下文编码器和Crossmodal Transformer。
关键创新：该论文的关键创新在于提出了一个能够有效融合多模态信息的Crossmodal Transformer架构。该架构能够学习不同模态之间的复杂关系，从而更准确地预测轮流发言事件。与传统的单模态或简单多模态融合方法相比，该方法能够更好地利用不同模态的信息，提升预测精度。
关键设计：Crossmodal Transformer模块是该模型的关键设计。该模块采用多头注意力机制，允许模型同时关注不同模态的不同部分，从而更好地捕捉模态之间的依赖关系。此外，论文还针对不同的模态采用了不同的编码器，以更好地提取每个模态的特征。例如，文本编码器采用预训练的BERT模型，音频编码器采用卷积神经网络（CNN）。损失函数采用交叉熵损失函数，用于训练分类器。
📊 实验亮点
实验结果表明，该模型在轮流发言预测任务上取得了显著提升，准确率达到87.3%，宏F1分数达到83.0%，优于基线模型。用户研究表明，部署该模型的虚拟化身能够与用户进行更自然流畅的对话，提升了用户体验，并且没有显著改变对话频率，保持了平衡的会话动态。
🎯 应用场景
该研究成果可应用于各种人机交互场景，例如虚拟助手、智能客服、在线教育和协作机器人等。通过提升轮流发言预测的准确性，可以使人机对话更加自然流畅，提高用户体验，并促进更有效的沟通和协作。未来，该技术有望应用于更复杂的交互场景，例如多方对话和群体协作。
📄 摘要（原文）
This study investigates multimodal turn-taking prediction within human-agent interactions (HAI), particularly focusing on cooperative gaming environments. It comprises both model development and subsequent user study, aiming to refine our understanding and improve conversational dynamics in spoken dialogue systems (SDSs). For the modeling phase, we introduce a novel transformer-based deep learning (DL) model that simultaneously integrates multiple modalities - text, vision, audio, and contextual in-game data to predict turn-taking events in real-time. Our model employs a Crossmodal Transformer architecture to effectively fuse information from these diverse modalities, enabling more comprehensive turn-taking predictions. The model demonstrates superior performance compared to baseline models, achieving 87.3% accuracy and 83.0% macro F1 score. A human user study was then conducted to empirically evaluate the turn-taking DL model in an interactive scenario with a virtual avatar while playing the game "Dont Starve Together", comparing a control condition without turn-taking prediction (n=20) to an experimental condition with our model deployed (n=40). Both conditions included a mix of English and Korean speakers, since turn-taking cues are known to vary by culture. We then analyzed the interaction quality, examining aspects such as utterance counts, interruption frequency, and participant perceptions of the avatar. Results from the user study suggest that our multimodal turn-taking model not only enhances the fluidity and naturalness of human-agent conversations, but also maintains a balanced conversational dynamic without significantly altering dialogue frequency. The study provides in-depth insights into the influence of turn-taking abilities on user perceptions and interaction quality, underscoring the potential for more contextually adaptive and responsive conversational agents.