Development of the Lifelike Head Unit for a Humanoid Cybernetic Avatar `Yui' and Its Operation Interface

📄 arXiv: 2312.06310v1 📥 PDF

作者: Mizuki Nakajima, Kaoruko Shinkawa, Yoshihiro Nakata

分类: cs.RO

发布日期: 2023-12-11

备注: 13pages, 19 figures

期刊: IEEE Access, vol. 12, pp.23930 -- 23942, 2024

DOI: 10.1109/ACCESS.2024.3365723

💡 一句话要点

开发类人机器人化身“Yui”及其操作界面，提升远程临场感

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 类人机器人 机器人化身 远程呈现 人机交互 面部表情 眼动追踪 虚拟现实 情感传递

📋 核心要点

  1. 现有机器人化身研究较少关注如何通过机器人来加深操作者和交互对象之间的交流体验。
  2. 论文提出了一种具有类人头部单元的机器人化身“Yui”，通过多自由度设计和沉浸式界面实现自然的情感表达和临场感。
  3. 实验验证了Yui的面部表情能力，并通过远程操作试验验证了系统的有效性，为化身技术提供了潜在的进步方向。

📝 摘要（中文）

本文介绍了一种名为“Cybernetic Avatar `Yui'”的类人机器人化身，旨在提升人机交互中的临场感和情感传递。该机器人头部具有28个自由度，能够表达眼神、面部表情和与语音相关的口部动作。操作者可以通过头戴式显示器（HMD）中的眼动追踪单元自然地控制机器人的视线。Yui耳朵中嵌入的麦克风能够以三维方式捕捉周围的声音，使操作者仅凭听觉信息就能辨别呼叫方向。HMD的面部追踪单元可以将操作者的面部动作同步到机器人身上。这种沉浸式界面与Yui类人外观相结合，实现了实时情感传输和交流，增强了双方的临场感。实验验证了Yui的面部表情能力，并通过远程操作试验验证了系统的有效性，表明该技术在化身技术方面具有潜在的进步。

🔬 方法详解

问题定义：现有的人形机器人化身在远程交流中，虽然能够通过外形和动作传递一定的临场感，但缺乏对操作者和交互对象之间更深层次交流体验的关注。痛点在于如何让操作者能够自然地控制化身，并让交互对象感受到操作者的真实情感和意图。

核心思路：论文的核心思路是通过构建一个具有高度拟人化的头部单元，并结合沉浸式的操作界面，来实现操作者与交互对象之间更自然、更具情感化的交流。通过多自由度的设计，使机器人能够表达丰富的面部表情和眼神，从而传递操作者的情感。

技术框架：该系统的整体架构包括：1）类人机器人头部单元“Yui”，具有28个自由度，用于表达面部表情和眼神；2）头戴式显示器（HMD），包含眼动追踪单元和面部追踪单元，用于捕捉操作者的视线和面部动作；3）嵌入在Yui耳朵中的麦克风，用于捕捉周围的三维声音信息。操作者的视线和面部动作通过HMD传输到Yui，Yui的表情和声音信息则反馈给操作者。

关键创新：最重要的技术创新点在于将高度拟人化的头部单元与沉浸式的操作界面相结合，实现了操作者对机器人化身的自然控制和情感表达。与现有方法相比，该方法更加注重提升操作者和交互对象之间的交流体验，而不仅仅是简单地复制操作者的动作。

关键设计：Yui的头部单元具有28个自由度，具体分布未知（论文未明确说明）。HMD中的眼动追踪单元和面部追踪单元的具体型号和参数未知。嵌入在Yui耳朵中的麦克风的具体型号和参数也未知。论文中没有提及具体的损失函数或网络结构等技术细节。

📊 实验亮点

实验结果表明，Yui能够表达各种面部表情，并且操作者可以通过HMD自然地控制Yui的视线和面部动作。远程操作试验验证了该系统的有效性，但具体的性能数据（如表情识别准确率、操作延迟等）以及与现有基线的对比情况未知（论文未提供）。

🎯 应用场景

该研究成果可应用于远程医疗、远程教育、虚拟现实社交等领域。通过类人机器人化身，医生可以远程诊断病人，教师可以远程授课，人们可以在虚拟环境中进行更具临场感的社交互动。该技术有助于打破时空限制，促进人与人之间的交流与合作，具有重要的社会价值和经济价值。

📄 摘要（原文）

In the context of avatar-mediated communication, it is crucial for the face-to-face interlocutor to sense the operator's presence and emotions via the avatar. Although androids resembling humans have been developed to convey presence through appearance and movement, few studies have prioritized deepening the communication experience for both operator and interlocutor using android robot as an avatar. Addressing this gap, we introduce the `Cybernetic AvatarYui','' featuring a human-like head unit with 28 degrees of freedom, capable of expressing gaze, facial emotions, and speech-related mouth movements. Through an eye-tracking unit in a Head-Mounted Display (HMD) and degrees of freedom on both eyes of Yui, operators can control the avatar's gaze naturally. Additionally, microphones embedded in Yui's ears allow operators to hear surrounding sounds in three dimensions, enabling them to discern the direction of calls based solely on auditory information. An HMD's face-tracking unit synchronizes the avatar's facial movements with those of the operator. This immersive interface, coupled with Yui's human-like appearance, enables real-time emotion transmission and communication, enhancing the sense of presence for both parties. Our experiments demonstrate Yui's facial expression capabilities, and validate the system's efficacy through teleoperation trials, suggesting potential advancements in avatar technology.