SemanticFace: Semantic Facial Action Estimation via Semantic Distillation in Interpretable Space

📄 arXiv: 2603.14827v1 📥 PDF

作者: Zejian Kang, Kai Zheng, Yuanchen Fei, Wentao Yang, Hongyuan Zou, Xiangru Huang

分类: cs.CV

发布日期: 2026-03-16

💡 一句话要点

SemanticFace：通过可解释空间中的语义蒸馏实现语义人脸动作估计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人脸动作估计 语义蒸馏 ARKit blendshape 可解释性 多模态学习

📋 核心要点

  1. 现有方法在紧凑的表情空间中预测人脸动作，缺乏明确的语义可解释性，限制了其在实际应用中的价值。
  2. SemanticFace通过语义蒸馏，将人脸动作估计转化为在可解释的ARKit blendshape空间中的结构化语义推理。
  3. 实验表明，该方法提高了系数精度和感知一致性，并增强了跨身份泛化能力和对领域偏移的鲁棒性。

📝 摘要（中文）

单张图像的人脸动作估计通常被建模为预测或拟合紧凑表达空间中的参数，这些空间缺乏明确的语义可解释性。然而，诸如虚拟形象控制和人机交互等许多实际应用需要与有意义的肌肉运动相对应的可解释的人脸动作。本文提出了SemanticFace，一个在可解释的ARKit blendshape空间中进行人脸动作估计的框架，它将系数预测重新定义为结构化的语义推理。SemanticFace采用两阶段语义蒸馏范式：首先从ground-truth ARKit系数中导出结构化的语义监督，然后将这些知识提炼到多模态大型语言模型中，以从图像中预测可解释的人脸动作系数。大量实验表明，与语言对齐的语义监督提高了系数精度和感知一致性，同时实现了强大的跨身份泛化和对包括卡通面孔在内的大领域偏移的鲁棒性。

🔬 方法详解

问题定义：现有的人脸动作估计方法通常在紧凑的、缺乏语义可解释性的空间中进行参数预测，这使得它们难以直接应用于需要理解具体肌肉运动的应用场景，例如虚拟形象控制。这些方法难以提供与人类直觉相符的、可解释的控制参数。

核心思路：SemanticFace的核心思路是将人脸动作估计问题转化为一个语义推理问题，利用ARKit blendshape空间作为可解释的语义空间。通过语义蒸馏，将图像信息转化为在这个语义空间中的系数预测，从而实现可解释的人脸动作估计。

技术框架：SemanticFace采用两阶段的语义蒸馏框架。第一阶段，从ground-truth ARKit系数中提取结构化的语义监督信息。第二阶段，利用多模态大型语言模型，将图像信息与语义监督信息相结合，预测ARKit blendshape系数。整体流程是从图像到语义监督，再到可解释的系数预测。

关键创新：该方法最重要的创新在于引入了语义蒸馏的概念，将人脸动作估计问题转化为一个语义推理问题。通过利用ARKit blendshape空间作为可解释的语义空间，实现了对人脸动作的语义理解和控制。此外，利用多模态大型语言模型进行知识蒸馏，提高了模型的泛化能力和鲁棒性。

关键设计：在语义蒸馏阶段，设计了特定的损失函数来保证蒸馏的有效性，例如，可以使用KL散度来衡量模型预测的概率分布与ground-truth之间的差异。在网络结构方面，采用了多模态大型语言模型，例如CLIP，来融合图像信息和语义信息。具体的参数设置和网络结构选择可能需要根据实际情况进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SemanticFace在系数精度和感知一致性方面均优于现有方法。该方法在跨身份泛化和对大领域偏移（包括卡通面孔）的鲁棒性方面表现出色。与传统方法相比，SemanticFace能够更好地处理不同身份和风格的人脸图像，并生成更自然、更逼真的人脸表情。

🎯 应用场景

SemanticFace具有广泛的应用前景，包括虚拟形象控制、人机交互、游戏开发、动画制作等领域。通过提供可解释的人脸动作参数，可以实现更自然、更逼真的人脸表情控制，提升用户体验。该研究的成果还可以应用于人脸识别、情感分析等领域，为人工智能技术的发展提供新的思路。

📄 摘要（原文）

Facial action estimation from a single image is often formulated as predicting or fitting parameters in compact expression spaces, which lack explicit semantic interpretability. However, many practical applications, such as avatar control and human-computer interaction, require interpretable facial actions that correspond to meaningful muscle movements. In this work, we propose \textbf{SemanticFace}, a framework for facial action estimation in the interpretable ARKit blendshape space that reformulates coefficient prediction as structured semantic reasoning. SemanticFace adopts a two-stage semantic distillation paradigm: it first derives structured semantic supervision from ground-truth ARKit coefficients and then distills this knowledge into a multimodal large language model to predict interpretable facial action coefficients from images. Extensive experiments demonstrate that language-aligned semantic supervision improves both coefficient accuracy and perceptual consistency, while enabling strong cross-identity generalization and robustness to large domain shifts, including cartoon faces.