PERCY: Personal Emotional Robotic Conversational System

📄 arXiv: 2503.16473v1 📥 PDF

作者: Zhijin Meng, Mohammed Althubyani, Shengyuan Xie, Imran Razzak, Eduardo B. Sandoval, Mahdi Bamdad, Francisco Cruz

分类: cs.HC, cs.RO

发布日期: 2025-03-04

备注: 6 pages, 4 figures

💡 一句话要点

PERCY：一种基于情感感知的个性化机器人对话系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感感知 个性化对话系统 多模态融合 社交机器人 GPT-4 人机交互

📋 核心要点

  1. 现有规则型对话机器人缺乏个性化，难以进行长期人机交互，而集成LLM的机器人又缺乏情感感知。
  2. PERCY通过实时分析用户面部表情和词汇，结合微调的GPT-4，动态调整响应以适应用户情感状态。
  3. 实验表明PERCY在对话连贯性、相关性和多样性方面表现出色，个性化能力优于其他模型。

📝 摘要（中文）

传统的基于规则的对话机器人受限于预定义的脚本和静态的响应映射，缺乏个性化和长期人机交互的适应性。虽然像GPT-4这样的大型语言模型（LLMs）通过开放域能力革新了对话AI，但目前实现LLMs的社交机器人仍然缺乏情感感知和持续的个性化能力。这种双重限制阻碍了它们在多个交互会话中维持用户参与度的能力。我们提出了PERCY（Personal Emotional Robotic Conversational sYstem），该系统旨在通过动态分析用户的实时面部表情和词汇来定制响应，从而实现开放域、多轮对话。PERCY构建于基于ROS的多模态框架之上，集成了微调的GPT-4推理引擎，结合文本情感分析和视觉情感线索，以准确评估和响应用户的情绪。我们通过各种对话质量指标评估了PERCY的性能，结果显示出强大的连贯性、相关性和多样性。人工评估表明，PERCY具有卓越的个性化能力，并且自然度与其他模型相当。这项工作突出了在社交机器人对话系统中集成先进的多模态感知和个性化的潜力。

🔬 方法详解

问题定义：现有基于规则的对话机器人无法进行个性化长期交互，而直接使用大型语言模型的社交机器人缺乏情感感知能力，难以维持用户参与度。痛点在于无法根据用户的情感状态动态调整对话策略。

核心思路：PERCY的核心思路是融合多模态信息（文本和视觉）来感知用户的情感状态，并利用这些信息来指导对话生成，从而实现个性化和情感化的交互。通过分析用户的面部表情和语音语调等信息，系统可以更好地理解用户的意图和情感，并生成更贴切的回复。

技术框架：PERCY基于ROS构建，采用多模态框架。主要包含以下模块：1) 用户情感感知模块：通过摄像头捕捉用户面部表情，并进行分析，同时分析用户输入的文本信息，提取情感特征。2) GPT-4推理引擎：使用微调后的GPT-4模型作为对话生成的核心，根据用户输入和情感状态生成回复。3) 对话管理模块：负责管理对话历史，并根据用户的情感状态调整对话策略。4) 机器人控制模块：控制机器人的动作和语音输出。

关键创新：PERCY的关键创新在于将视觉情感感知与大型语言模型相结合，实现了情感化的个性化对话。与传统的对话系统相比，PERCY能够更好地理解用户的情感状态，并生成更贴切的回复。此外，PERCY还采用了多模态融合的方法，将文本和视觉信息结合起来，提高了情感感知的准确性。

关键设计：PERCY使用预训练的深度学习模型进行面部表情识别，并提取情感特征。GPT-4模型通过微调来适应情感化的对话生成任务。对话管理模块使用规则和机器学习相结合的方法，根据用户的情感状态调整对话策略。具体的情感特征提取方法和GPT-4的微调策略在论文中可能包含更详细的参数设置和损失函数等技术细节，但摘要中未明确说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PERCY的实验结果表明，其在对话的连贯性、相关性和多样性方面表现出色。人工评估结果显示，PERCY的个性化程度优于其他模型，并且在自然度方面与其他模型相当。这些结果表明，PERCY在情感感知和个性化对话方面具有显著的优势，验证了多模态情感融合在对话系统中的有效性。

🎯 应用场景

PERCY具有广泛的应用前景，例如：情感陪护机器人，可以为老年人或孤独症患者提供情感支持；教育机器人，可以根据学生的情感状态调整教学内容和方式；客服机器人，可以更好地理解客户的需求和情感，提供更优质的服务。该研究有助于提升人机交互的自然性和情感连接，促进人与机器人之间的信任和合作。

📄 摘要（原文）

Traditional rule-based conversational robots, constrained by predefined scripts and static response mappings, fundamentally lack adaptability for personalized, long-term human interaction. While Large Language Models (LLMs) like GPT-4 have revolutionized conversational AI through open-domain capabilities, current social robots implementing LLMs still lack emotional awareness and continuous personalization. This dual limitation hinders their ability to sustain engagement across multiple interaction sessions. We bridge this gap with PERCY (Personal Emotional Robotic Conversational sYstem), a system designed to enable open-domain, multi-turn dialogues by dynamically analyzing users' real-time facial expressions and vocabulary to tailor responses based on their emotional state. Built on a ROS-based multimodal framework, PERCY integrates a fine-tuned GPT-4 reasoning engine, combining textual sentiment analysis with visual emotional cues to accurately assess and respond to user emotions. We evaluated PERCY's performance through various dialogue quality metrics, showing strong coherence, relevance, and diversity. Human evaluations revealed PERCY's superior personalization and comparable naturalness to other models. This work highlights the potential for integrating advanced multimodal perception and personalization in social robot dialogue systems.