Listening and Mirroring: The Effects of Verbal Attunement and Behavioral Mimicry on Social and Empathic Perceptions of Embodied AI Agents in VR
作者: Nathalia Gomez, Haig Shamlian, Omar Khan, Tiffany D. Do
分类: cs.HC, cs.AI
发布日期: 2026-09-23
备注: 11 pages. Accepted to ACM VRST 2026
💡 一句话要点
提出多模态同步以提升虚拟现实中AI代理的社交感知
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身AI 虚拟现实 语言调适 行为模仿 情感共鸣 社交感知 人机交互
📋 核心要点
- 现有方法在实时对话中对行为模仿的研究有限，缺乏对用户在具身AI代理中情感共鸣的理解。
- 论文提出了一种结合对话AI与实时非语言行为模仿的具身AI顾问，以提升用户的社交感知体验。
- 实验结果表明，语言调适显著提高了感知同理心，而行为模仿对感知人性有边际影响，尤其在女性参与者中表现突出。
📝 摘要（中文）
随着具身代理在虚拟现实中承担越来越多的社交和关系角色，单纯的视觉真实感和具身性可能不足以满足用户的需求；用户还必须将这些代理视为情感共鸣、支持性和人性化的存在。先前的研究表明，语言调适和非语言模仿可以改善用户对具身代理的社交评估。然而，行为模仿在实时对话AI交互中的研究相对有限。为此，本文开发了一种结合对话AI与实时面部表情和姿态模仿的具身AI顾问，并在实验中评估了其在不同语言调适和行为模仿条件下的表现。结果显示，语言调适是感知同理心的最可靠驱动因素，而行为模仿与感知人性之间存在边际关系，尤其在女性参与者中表现出积极的探索性关联。
🔬 方法详解
问题定义：本研究旨在解决用户在与具身AI代理进行实时对话时，如何提升其社交感知和情感共鸣的问题。现有方法在行为模仿的实时应用上存在不足，缺乏对用户反应的深入理解。
核心思路：论文的核心思路是结合语言调适与非语言行为模仿，通过实时生成上下文响应的对话和适应性非语言行为，提升用户对AI代理的情感共鸣和社交评价。
技术框架：整体架构包括一个具身AI顾问系统，主要模块包括对话生成模块、面部表情识别模块和姿态模仿模块。系统能够实时生成语言响应并同步调整非语言行为。
关键创新：最重要的技术创新在于将语言调适与行为模仿结合，形成多模态同步的交互方式。这一设计与传统的单一模态交互方法有本质区别，能够更好地模拟人际交往中的情感交流。
关键设计：在参数设置上，系统通过机器学习算法优化语言响应的情感调适，同时利用计算机视觉技术实现面部表情和姿态的实时模仿。损失函数设计考虑了用户的情感反馈，以提高系统的适应性和响应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，语言调适显著提升了用户的感知同理心，而行为模仿与感知人性之间存在边际关系。尤其在女性参与者中，行为模仿的增加与同理心、积极性和人性感知呈现初步的正相关，表明多模态同步的设计策略具有重要的应用价值。
🎯 应用场景
该研究的潜在应用领域包括心理咨询、教育培训和社交机器人等。通过提升虚拟代理的情感共鸣能力，可以在这些领域中提供更为人性化的互动体验，促进用户的情感交流和学习效果，未来可能对人机交互的设计产生深远影响。
📄 摘要（原文）
As embodied agents take on increasingly social and relational roles in VR, visual realism and embodiment alone may be insufficient; users must also perceive these agents as emotionally attuned, supportive, and humanlike. Prior work suggests that verbal attunement and nonverbal mimicry can each improve users' social evaluations of embodied agents. However, behavioral mimicry has largely been studied outside of real-time, conversational AI interactions, leaving limited understanding of how users respond when an agent simultaneously generates contextually responsive dialogue and adapts its nonverbal behavior during an immersive conversation. To address this gap, we developed an embodied AI counselor that combines conversational AI with real-time facial-expression and posture mimicry, while producing either verbally attuned or neutral responses. We evaluated the system in a 2 X 2 within-subjects study with 20 participants, manipulating verbal attunement and behavioral mimicry. Results showed that verbal attunement was the most reliable driver of perceived empathy. Behavioral mimicry showed a marginal relationship with perceived humanness, while greater mimicry exposure showed preliminary, exploratory positive associations with empathy, positivity, and humanness, particularly among female participants. Together, these findings show that multimodal synchrony is not a simple additive strategy for designing empathic conversational agents in VR and underscore the need to consider how verbal and nonverbal behaviors are combined during real-time interaction.