FABG : End-to-end Imitation Learning for Embodied Affective Human-Robot Interaction

📄 arXiv: 2503.01363v2 📥 PDF

作者: Yanghai Zhang, Changyi Liu, Keting Fu, Wenbin Zhou, Qingdu Li, Jianwei Zhang

分类: cs.RO, cs.LG

发布日期: 2025-03-03 (更新: 2025-03-04)

备注: Project website: https://cybergenies.github.io

💡 一句话要点

提出FABG，通过端到端模仿学习实现具身情感人机交互中自然流畅的面部情感行为生成。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机交互 情感计算 模仿学习 虚拟现实 机器人控制

📋 核心要点

  1. 现有方法难以获取高质量的人机交互演示数据，限制了机器人自然情感行为的生成。
  2. FABG利用VR系统，使操作员以第一人称视角控制机器人，保证感知与行为的一致性，并采用预测驱动的延迟补偿。
  3. 实验表明，FABG在表情响应、动态注视等任务中表现出色，验证了其在真实机器人上生成自然交互行为的有效性。

📝 摘要（中文）

本文提出了一种名为FABG（面部情感行为生成）的端到端模仿学习系统，用于人机交互，旨在生成自然流畅的面部情感行为。在交互过程中，有效获取高质量的演示仍然是一个挑战。本文开发了一个沉浸式虚拟现实（VR）演示系统，使操作员能够感知立体环境。该系统确保“操作员的视觉感知与机器人的感觉输入相匹配”以及“操作员的动作直接决定机器人的行为”——就像操作员在人际互动中取代了机器人一样。我们提出了一种预测驱动的延迟补偿策略，以减少机器人的反应延迟并增强交互的流畅性。FABG自然地获取人类互动行为和直觉驱动的潜意识动作，无需手动编写行为脚本。我们将FABG部署在真实的25自由度（DoF）人形机器人上，通过四个基本交互任务验证了其有效性：表情响应、动态注视、中心凹注意和手势识别，并辅以数据收集和策略训练。

🔬 方法详解

问题定义：论文旨在解决人机交互中机器人面部情感行为生成的问题。现有方法通常依赖于手动脚本或预定义的规则，难以生成自然、流畅且具有情感表达的行为。获取高质量的交互演示数据也是一个挑战，因为需要保证操作员的感知与机器人的行为同步。

核心思路：论文的核心思路是利用模仿学习，通过高质量的人类演示数据来训练机器人。为了获取高质量的演示数据，论文设计了一个沉浸式VR系统，允许操作员以机器人的视角进行交互，从而保证操作员的感知与机器人的输入相匹配。此外，论文还提出了一种预测驱动的延迟补偿策略，以减少机器人的反应延迟，提高交互的流畅性。

技术框架：FABG系统的整体框架包括三个主要模块：VR演示系统、策略训练模块和机器人控制模块。VR演示系统负责收集人类的交互数据，策略训练模块利用这些数据训练机器人的控制策略，机器人控制模块则根据训练好的策略控制机器人的面部情感行为。VR演示系统将操作员的动作映射到机器人的动作空间，并提供立体视觉反馈。策略训练模块使用模仿学习算法，例如行为克隆或Dagger，来训练机器人的控制策略。机器人控制模块将策略的输出转换为机器人的关节控制指令。

关键创新：该论文的关键创新在于：1) 提出了一种沉浸式VR演示系统，能够获取高质量的人机交互演示数据。2) 提出了一种预测驱动的延迟补偿策略，能够减少机器人的反应延迟，提高交互的流畅性。3) 实现了端到端的模仿学习系统，能够直接从人类演示数据中学习机器人的面部情感行为，无需手动编写行为脚本。

关键设计：VR演示系统采用立体视觉显示器和动作捕捉设备，以提供沉浸式的交互体验。预测驱动的延迟补偿策略使用卡尔曼滤波器或其他预测算法来预测操作员的未来动作，并提前发送控制指令给机器人。策略训练模块使用深度神经网络作为策略函数，并采用行为克隆算法进行训练。损失函数通常是预测动作与真实动作之间的均方误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FABG系统在表情响应、动态注视、中心凹注意和手势识别等任务中表现出色。通过与手动脚本或预定义规则相比，FABG能够生成更自然、更流畅的面部情感行为。例如，在表情响应任务中，FABG能够根据人类的情绪变化，实时调整机器人的面部表情，从而更好地表达情感。

🎯 应用场景

FABG技术可应用于各种人机交互场景，例如虚拟助手、教育机器人、医疗康复机器人等。通过生成自然流畅的面部情感行为，机器人能够更好地理解人类的情感需求，并做出更恰当的反应，从而提高人机交互的效率和用户体验。该技术还有助于开发更具情感智能的机器人，使其能够更好地融入人类社会。

📄 摘要（原文）

This paper proposes FABG (Facial Affective Behavior Generation), an end-to-end imitation learning system for human-robot interaction, designed to generate natural and fluid facial affective behaviors. In interaction, effectively obtaining high-quality demonstrations remains a challenge. In this work, we develop an immersive virtual reality (VR) demonstration system that allows operators to perceive stereoscopic environments. This system ensures "the operator's visual perception matches the robot's sensory input" and "the operator's actions directly determine the robot's behaviors" - as if the operator replaces the robot in human interaction engagements. We propose a prediction-driven latency compensation strategy to reduce robotic reaction delays and enhance interaction fluency. FABG naturally acquires human interactive behaviors and subconscious motions driven by intuition, eliminating manual behavior scripting. We deploy FABG on a real-world 25-degree-of-freedom (DoF) humanoid robot, validating its effectiveness through four fundamental interaction tasks: expression response, dynamic gaze, foveated attention, and gesture recognition, supported by data collection and policy training. Project website: https://cybergenies.github.io