KeyframeFace: From Text to Expressive Facial Keyframes

📄 arXiv: 2512.11321v1 📥 PDF

作者: Jingchao Wu, Zejian Kang, Haibo Liu, Yuanchen Fei, Xiangru Huang

分类: cs.CV

发布日期: 2025-12-12

🔗 代码/项目: GITHUB

💡 一句话要点

KeyframeFace：提出基于文本驱动的、可解释的关键帧人脸表情动画生成框架

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本驱动动画 人脸动画生成 关键帧 大型语言模型 多模态数据集

📋 核心要点

  1. 现有方法在文本驱动人脸动画生成方面，缺乏对时序语义和细粒度表情变化的有效建模，限制了生成表现力丰富的人脸动画。
  2. 论文提出KeyframeFace数据集和基于LLM的文本到动画框架，利用LLM的语义理解能力和ARKit系数的可解释性，实现高保真动画生成。
  3. KeyframeFace数据集包含2100个脚本，并提供关键帧级别的监督信息，为文本驱动人脸动画研究提供新的基准。

📝 摘要（中文）

本文提出KeyframeFace，一个大规模多模态数据集，旨在通过关键帧级别的监督进行文本到动画的研究。KeyframeFace提供了2100个富有表现力的脚本，并配有单目视频、逐帧ARKit系数、上下文背景、复杂的情感、手动定义的关键帧，以及基于ARKit系数和图像，通过大型语言模型（LLMs）和多模态大型语言模型（MLLMs）进行的多视角标注。此外，本文还提出了第一个文本到动画的框架，该框架显式地利用LLM先验知识进行可解释的面部运动合成。这种设计将LLM的语义理解能力与ARKit系数的可解释结构对齐，从而实现高保真度的表现力动画。KeyframeFace和基于LLM的框架共同为可解释的、关键帧引导的和上下文感知的文本到动画奠定了新的基础。代码和数据可在https://github.com/wjc12345123/KeyframeFace获取。

🔬 方法详解

问题定义：现有文本驱动人脸动画方法主要集中在语音驱动或非结构化的表情序列，缺乏语义层面的 grounding 和时序结构，难以生成富有表现力的人脸动画。此外，缺乏高质量的数据集来支持关键帧级别的监督学习。

核心思路：利用大型语言模型（LLMs）强大的语义理解能力，将其与ARKit系数的可解释结构相结合，从而实现高保真和可解释的人脸动画生成。通过关键帧的显式建模，更好地控制动画的时序结构和表情变化。

技术框架：该框架包含以下主要模块：1) 文本编码器：使用LLM对输入文本进行编码，提取语义信息。2) 关键帧预测器：基于文本编码，预测关键帧的ARKit系数。3) 动画生成器：根据关键帧，生成连续的人脸动画序列。框架利用KeyframeFace数据集进行训练，该数据集包含文本、视频、ARKit系数和关键帧标注。

关键创新：1) 提出了KeyframeFace数据集，为文本驱动人脸动画研究提供了新的基准。2) 提出了基于LLM的文本到动画框架，显式地利用LLM先验知识进行可解释的面部运动合成。3) 将LLM的语义理解能力与ARKit系数的可解释结构对齐，实现了高保真度的表情动画生成。

关键设计：关键帧预测器可能采用Transformer结构，将文本编码作为输入，预测关键帧的ARKit系数。动画生成器可能采用插值方法，根据关键帧生成连续的动画序列。损失函数可能包括关键帧预测损失和动画平滑损失，以保证动画的质量和平滑性。具体参数设置和网络结构在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了KeyframeFace数据集，包含2100个脚本和关键帧级别的标注，为文本驱动人脸动画研究提供了新的基准。同时，提出的基于LLM的框架能够生成高保真度的表情动画，在可解释性和动画质量方面均有提升。具体的性能数据和对比基线在摘要中未提及，属于未知信息。

🎯 应用场景

该研究成果可应用于虚拟形象生成、游戏角色动画、电影特效、在线教育等领域。通过文本输入即可生成逼真的人脸动画，降低了动画制作的门槛，提高了创作效率。未来，该技术有望应用于人机交互、情感计算等领域，实现更加自然和智能的人机交流。

📄 摘要（原文）

Generating dynamic 3D facial animation from natural language requires understanding both temporally structured semantics and fine-grained expression changes. Existing datasets and methods mainly focus on speech-driven animation or unstructured expression sequences and therefore lack the semantic grounding and temporal structures needed for expressive human performance generation. In this work, we introduce KeyframeFace, a large-scale multimodal dataset designed for text-to-animation research through keyframe-level supervision. KeyframeFace provides 2,100 expressive scripts paired with monocular videos, per-frame ARKit coefficients, contextual backgrounds, complex emotions, manually defined keyframes, and multi-perspective annotations based on ARKit coefficients and images via Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs). Beyond the dataset, we propose the first text-to-animation framework that explicitly leverages LLM priors for interpretable facial motion synthesis. This design aligns the semantic understanding capabilities of LLMs with the interpretable structure of ARKit's coefficients, enabling high-fidelity expressive animation. KeyframeFace and our LLM-based framework together establish a new foundation for interpretable, keyframe-guided, and context-aware text-to-animation. Code and data are available at https://github.com/wjc12345123/KeyframeFace.