Rapport-Driven Virtual Agent: Rapport Building Dialogue Strategy for Improving User Experience at First Meeting
作者: Muhammad Yeza Baihaqi, Angel García Contreras, Seiya Kawano, Koichiro Yoshino
分类: cs.CL, cs.HC
发布日期: 2024-06-14
备注: will be presented at INTERSPEECH 2024
💡 一句话要点
提出基于Rapport构建策略的虚拟代理对话系统，提升首次交互用户体验
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 虚拟代理 人机交互 对话系统 Rapport构建 大型语言模型
📋 核心要点
- 现有对话系统缺乏有效建立融洽关系的机制，影响用户体验和协作效果。
- 论文提出一种基于Rapport构建策略的对话系统，通过闲聊建立初期信任和连接。
- 实验表明，自由形式的Rapport构建策略在提升用户自然性、满意度和参与度方面表现最佳。
📝 摘要（中文）
本研究旨在通过建立融洽关系（Rapport）构建策略，利用闲聊来建立人机之间的融洽关系。我们通过提示大型语言模型（LLM），将此策略应用于虚拟代理的对话策略中。具体而言，我们采用了两种对话策略——预定义序列和自由形式——来指导对话生成框架。我们基于人工评估进行了分析，研究了总轮数、话语字符数、融洽关系得分以及用户体验变量（自然性、满意度、兴趣、参与度和可用性）之间的相关性。我们还研究了融洽关系得分与自然性、满意度、参与度和对话流畅性之间的相关性。实验结果表明，使用自由形式提示融洽关系构建策略在主观评分中表现最佳。
🔬 方法详解
问题定义：现有虚拟代理在首次交互时，难以快速建立与用户的融洽关系，导致用户体验不佳，影响后续协作效率。缺乏有效的对话策略来引导代理进行关系建立，使得对话显得生硬和不自然。
核心思路：通过在对话中融入Rapport构建策略，使虚拟代理能够主动发起闲聊，建立与用户的初步信任和连接。利用大型语言模型（LLM）的生成能力，实现更自然和流畅的对话。
技术框架：该方法的核心是一个基于LLM的对话生成框架，该框架使用两种对话策略：预定义序列和自由形式。Rapport构建策略被用于提示LLM生成对话内容。通过人工评估，分析总轮数、话语字符数、Rapport得分以及用户体验变量之间的相关性。
关键创新：该研究的关键创新在于将Rapport构建策略显式地融入到虚拟代理的对话策略中，并探索了不同对话策略（预定义序列 vs. 自由形式）对Rapport构建效果的影响。利用LLM的生成能力，使得代理能够更灵活地进行对话，而非仅仅依赖预设的对话流程。
关键设计：研究中使用了两种对话策略：预定义序列策略预先设定了对话的流程和内容，而自由形式策略则允许LLM根据当前对话状态自由生成回复。通过比较两种策略的效果，研究人员可以评估不同策略对Rapport构建的影响。具体的损失函数和网络结构信息未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用自由形式提示Rapport构建策略在主观评分中表现最佳，尤其是在自然性、满意度和参与度方面。研究还分析了Rapport得分与用户体验变量之间的相关性，为进一步优化对话策略提供了依据。具体的性能提升幅度未知。
🎯 应用场景
该研究成果可应用于各种人机交互场景，例如智能客服、虚拟助手、教育机器人等。通过提升首次交互的用户体验，可以提高用户对虚拟代理的信任度和满意度，从而促进更有效的协作和信息传递。未来，该技术有望应用于更复杂的任务型对话系统中，提升人机协作的效率和质量。
📄 摘要（原文）
Rapport is known as a conversational aspect focusing on relationship building, which influences outcomes in collaborative tasks. This study aims to establish human-agent rapport through small talk by using a rapport-building strategy. We implemented this strategy for the virtual agents based on dialogue strategies by prompting a large language model (LLM). In particular, we utilized two dialogue strategies-predefined sequence and free-form-to guide the dialogue generation framework. We conducted analyses based on human evaluations, examining correlations between total turn, utterance characters, rapport score, and user experience variables: naturalness, satisfaction, interest, engagement, and usability. We investigated correlations between rapport score and naturalness, satisfaction, engagement, and conversation flow. Our experimental results also indicated that using free-form to prompt the rapport-building strategy performed the best in subjective scores.