KeyframeFace: From Text to Expressive Facial Keyframes

📄 arXiv: 2512.11321v1 📥 PDF

作者: Jingchao Wu, Zejian Kang, Haibo Liu, Yuanchen Fei, Xiangru Huang

分类: cs.CV

发布日期: 2025-12-12

🔗 代码/项目: GITHUB

💡 一句话要点

KeyframeFace：提出基于文本驱动的、可解释的关键帧人脸表情动画生成框架

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 文本驱动动画 人脸表情生成 关键帧动画 大型语言模型 多模态数据集

📋 核心要点

  1. 现有方法在文本驱动人脸动画生成方面，缺乏对时序语义和细粒度表情变化的有效建模，数据集也多集中于语音驱动或非结构化表情序列。
  2. KeyframeFace通过构建大规模多模态数据集，并结合LLM先验知识，显式地利用关键帧进行人脸运动合成，实现可解释的高保真动画生成。
  3. 论文构建了包含丰富标注的数据集，并提出了基于LLM的文本到动画框架，为后续研究奠定了基础，具体性能提升数据未知。

📝 摘要（中文）

本文提出KeyframeFace，一个大规模多模态数据集，旨在通过关键帧级别的监督进行文本到动画的研究。KeyframeFace提供了2100个富有表现力的脚本，并配有单目视频、逐帧ARKit系数、上下文背景、复杂的情感、手动定义的关键帧，以及基于ARKit系数和图像，通过大型语言模型（LLM）和多模态大型语言模型（MLLM）进行的多视角标注。此外，本文还提出了第一个文本到动画的框架，该框架显式地利用LLM先验知识进行可解释的面部运动合成。这种设计将LLM的语义理解能力与ARKit系数的可解释结构对齐，从而实现高保真度的表情动画。KeyframeFace和基于LLM的框架共同为可解释的、关键帧引导的、以及上下文感知的文本到动画奠定了新的基础。代码和数据可在https://github.com/wjc12345123/KeyframeFace获取。

🔬 方法详解

问题定义：现有文本驱动人脸动画生成方法难以捕捉时序语义和细粒度表情变化，数据集通常缺乏语义 grounding 和时序结构，限制了生成富有表现力的人脸动画的能力。现有方法主要集中在语音驱动或非结构化表情序列，忽略了文本中蕴含的丰富情感和上下文信息。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语义理解能力，结合ARKit系数的可解释结构，通过关键帧引导的方式，实现高保真度的表情动画生成。通过显式地利用LLM的先验知识，将文本中的语义信息转化为可控的面部运动参数，从而生成更自然、更富有表现力的人脸动画。

技术框架：整体框架包含数据集构建和模型训练两部分。数据集构建方面，KeyframeFace数据集包含2100个脚本，每个脚本都配有单目视频、逐帧ARKit系数、上下文背景、复杂情感、手动定义的关键帧以及多视角标注。模型训练方面，该框架利用LLM将文本信息映射到ARKit系数空间，并通过关键帧引导的方式优化生成结果。具体模块细节未知。

关键创新：最重要的创新点在于显式地利用LLM的先验知识进行可解释的面部运动合成。与现有方法相比，该方法能够更好地理解文本中的语义信息，并将这些信息转化为可控的面部运动参数，从而生成更自然、更富有表现力的人脸动画。此外，KeyframeFace数据集的构建也为文本驱动人脸动画生成研究提供了新的资源。

关键设计：论文中关于参数设置、损失函数、网络结构等技术细节描述较少，具体设计未知。但可以推测，损失函数可能包含重构损失、关键帧对齐损失等，以保证生成结果的保真度和关键帧的准确性。网络结构可能包含文本编码器、ARKit系数解码器等模块，具体结构未知。

📊 实验亮点

论文构建了大规模多模态数据集KeyframeFace，包含2100个脚本和丰富的标注信息。提出了基于LLM的文本到动画框架，能够生成高保真度的表情动画。虽然论文中没有给出具体的性能数据和对比基线，但该框架为可解释的、关键帧引导的、以及上下文感知的文本到动画奠定了新的基础。

🎯 应用场景

该研究成果可应用于虚拟现实、游戏开发、在线教育、数字人等领域。通过文本驱动，可以快速生成各种表情和动作的人脸动画，提高内容创作效率和用户体验。未来，该技术有望应用于个性化虚拟助手、情感陪伴机器人等领域，实现更自然、更智能的人机交互。

📄 摘要（原文）

Generating dynamic 3D facial animation from natural language requires understanding both temporally structured semantics and fine-grained expression changes. Existing datasets and methods mainly focus on speech-driven animation or unstructured expression sequences and therefore lack the semantic grounding and temporal structures needed for expressive human performance generation. In this work, we introduce KeyframeFace, a large-scale multimodal dataset designed for text-to-animation research through keyframe-level supervision. KeyframeFace provides 2,100 expressive scripts paired with monocular videos, per-frame ARKit coefficients, contextual backgrounds, complex emotions, manually defined keyframes, and multi-perspective annotations based on ARKit coefficients and images via Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs). Beyond the dataset, we propose the first text-to-animation framework that explicitly leverages LLM priors for interpretable facial motion synthesis. This design aligns the semantic understanding capabilities of LLMs with the interpretable structure of ARKit's coefficients, enabling high-fidelity expressive animation. KeyframeFace and our LLM-based framework together establish a new foundation for interpretable, keyframe-guided, and context-aware text-to-animation. Code and data are available at https://github.com/wjc12345123/KeyframeFace.