UGotMe: An Embodied System for Affective Human-Robot Interaction
作者: Peizhen Li, Longbing Cao, Xiao-Ming Wu, Xiaohan Yu, Runze Yang
分类: cs.RO, cs.HC
发布日期: 2024-10-24 (更新: 2025-03-14)
备注: Accepted at ICRA 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
UGotMe：面向多人对话的情感人机交互具身系统，解决噪声和实时性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 情感识别 具身智能 机器人 多模态 噪声过滤 实时性
📋 核心要点
- 现有视觉情感识别模型在多人对话场景中易受环境噪声干扰，难以准确提取情感线索。
- UGotMe系统通过面部提取和主动发言人识别策略，有效过滤干扰物体和非活跃发言者。
- 该系统采用高效数据传输，显著提升了实时响应能力，并在Ameca机器人上验证了其有效性。
📝 摘要（中文）
为了实现情感人机交互，人形机器人需要具备理解人类情感状态并根据情境适当表达情感的能力。然而，将现有的视觉感知多模态情感识别模型应用于真实世界的情感人机交互面临具身挑战：环境噪声问题和实时性要求。在多人对话场景中，机器人视觉观察中的噪声，可能来自场景中的干扰物体或出现在机器人视野中的非活跃发言者，阻碍了模型从视觉输入中提取情感线索。此外，实时响应也是交互系统所期望的特性，但难以实现。为了应对这些挑战，我们提出了一个名为UGotMe的情感人机交互系统，专门为多人对话设计。该系统集成了两种去噪策略来解决第一个问题，即从原始图像中提取发言者的面部图像，并引入定制的主动面部提取策略来排除非活跃发言者。对于第二个问题，我们采用从机器人到本地服务器的高效数据传输来提高实时响应能力。我们在人形机器人Ameca上部署了UGotMe，以验证其在实际场景中的实时推理能力。
🔬 方法详解
问题定义：论文旨在解决多人对话场景下，机器人进行情感识别时面临的环境噪声干扰和实时性不足的问题。现有方法容易受到场景中无关物体和非活跃发言者的干扰，导致情感识别准确率下降。同时，为了保证交互体验，系统需要快速响应，但现有方法的计算复杂度较高，难以满足实时性要求。
核心思路：论文的核心思路是通过去噪策略来提高情感识别的准确性，并通过优化数据传输来提升实时性。具体来说，首先通过面部检测和提取，聚焦于发言者的面部信息，减少背景噪声的干扰。然后，通过主动发言人识别，排除非活跃发言者的干扰。最后，通过高效的数据传输，减少延迟，保证实时响应。
技术框架：UGotMe系统主要包含以下几个模块：1) 视觉输入模块：从机器人摄像头获取图像；2) 面部检测与提取模块：检测并提取图像中的人脸；3) 主动发言人识别模块：判断发言人是否活跃，排除非活跃发言者；4) 情感识别模块：基于提取的面部信息进行情感识别；5) 数据传输模块：将数据从机器人传输到本地服务器进行处理；6) 机器人动作控制模块：根据情感识别结果控制机器人的动作。
关键创新：论文的关键创新在于提出了针对多人对话场景的去噪策略，包括基于面部提取的噪声过滤和基于主动发言人识别的噪声过滤。与传统方法相比，该方法能够更有效地排除环境噪声的干扰，提高情感识别的准确性。此外，通过优化数据传输，显著提升了系统的实时性。
关键设计：主动发言人识别策略的具体实现细节未知，论文中没有详细描述。数据传输模块采用了高效的数据压缩和传输协议，以减少延迟。情感识别模块可能采用了预训练的深度学习模型，并针对具体场景进行了微调。具体的损失函数和网络结构等技术细节未知。
🖼️ 关键图片
📊 实验亮点
论文在Ameca机器人上部署了UGotMe系统，验证了其在实际场景中的实时推理能力。通过去噪策略和高效数据传输，系统能够有效地排除环境噪声的干扰，并实现实时响应。具体的性能数据和对比基线未知，但视频演示表明该系统在实际场景中具有良好的表现。
🎯 应用场景
该研究成果可应用于各种人机交互场景，例如智能客服、教育机器人、陪伴机器人等。通过提高机器人对人类情感的理解和表达能力，可以增强人机交互的自然性和有效性，提升用户体验。未来，该技术有望应用于更复杂的社交场景，例如会议助手、社交机器人等。
📄 摘要（原文）
Equipping humanoid robots with the capability to understand emotional states of human interactants and express emotions appropriately according to situations is essential for affective human-robot interaction. However, enabling current vision-aware multimodal emotion recognition models for affective human-robot interaction in the real-world raises embodiment challenges: addressing the environmental noise issue and meeting real-time requirements. First, in multiparty conversation scenarios, the noises inherited in the visual observation of the robot, which may come from either 1) distracting objects in the scene or 2) inactive speakers appearing in the field of view of the robot, hinder the models from extracting emotional cues from vision inputs. Secondly, realtime response, a desired feature for an interactive system, is also challenging to achieve. To tackle both challenges, we introduce an affective human-robot interaction system called UGotMe designed specifically for multiparty conversations. Two denoising strategies are proposed and incorporated into the system to solve the first issue. Specifically, to filter out distracting objects in the scene, we propose extracting face images of the speakers from the raw images and introduce a customized active face extraction strategy to rule out inactive speakers. As for the second issue, we employ efficient data transmission from the robot to the local server to improve realtime response capability. We deploy UGotMe on a human robot named Ameca to validate its real-time inference capabilities in practical scenarios. Videos demonstrating real-world deployment are available at https://pi3-141592653.github.io/UGotMe/.