Video Diffusion Avatars: Taming Video Diffusion Models into Controllable 3D Avatars

📄 arXiv: 2610.23772v1 📥 PDF

作者: Simon Giebenhain, Tobias Kirschstein, Liam Schoneveld, Davide Davoli, Zhe Chen, Matthias Nießner

分类: cs.CV

发布日期: 2026-10-16

备注: Project webiste: https://simongiebenhain.github.io/video-diffusion-avatars/

💡 一句话要点

提出视频扩散化身以解决单图像生成3D头像问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)

关键词: 视频扩散模型 3D头像生成 多视角一致性 面部表情控制 虚拟现实 数字人类 机器学习

📋 核心要点

  1. 现有方法在生成3D头像时难以实现多视角一致性，且对面部表情和姿态的控制能力有限。
  2. 论文提出了一种通过微调视频扩散模型（VDM）的方法，能够从单张图像生成可控的3D头像，支持多视角一致性。
  3. 实验结果表明，VDAs在新视角重现上显著优于现有单图像3D头像生成方法，提升了面部LPIPS和感知质量。

📝 摘要（中文）

视频扩散模型（VDMs）在互联网规模数据上训练，能够编码丰富的外观、运动和物理先验，这些是显式3D渲染和昂贵的3D数据捕获所难以复制的。我们提出视频扩散化身（VDAs），通过微调VDM从单张图像创建照片真实感的多视角一致化身，精确控制相机视角、面部表情和上半身姿态。VDAs采用学习的表情空间，超越了3D可变形模型（3DMMs）的表现力上限。通过解耦，我们消除了学习表情代码的视角偏差，使其可以作为多视角一致化身的驱动信号。相机和上半身姿态通过代理网格渲染共同控制，实现了表情、姿态和视角的独立控制。我们的模型在单张图像3D头像的重现上超越了当前最先进的技术，面部LPIPS降低了29%，感知质量提高了66%。

🔬 方法详解

问题定义：本论文旨在解决现有3D头像生成方法在多视角一致性和表情控制方面的不足，特别是3D可变形模型（3DMMs）在表现力上的限制。

核心思路：提出视频扩散化身（VDAs），通过微调视频扩散模型（VDM）从单张图像生成高质量的3D头像，允许对相机视角、面部表情和上半身姿态进行精确控制。

技术框架：VDAs的整体架构包括三个主要模块：1）视频扩散模型的微调；2）学习的表情空间；3）代理网格渲染用于姿态和视角的控制。通过相机三重训练策略提高训练效率。

关键创新：VDAs通过学习的表情空间超越了3DMMs的表现力限制，并通过解耦消除了学习表情代码的视角偏差，使其适用于多视角一致化身的生成。

关键设计：在训练过程中，使用了特定的损失函数来优化面部表情和姿态的控制，同时采用了代理网格渲染技术以实现高效的相机和姿态控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VDAs在新视角重现上显著优于现有技术，面部LPIPS降低了29%，感知质量（JOD）提高了66%。此外，静态3DGS重建探针进一步确认了生成结果的多视角一致性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、社交媒体和在线教育等，能够为用户提供更加真实和互动的3D化身体验。未来，VDAs可能在个性化数字人类和虚拟助手的开发中发挥重要作用。

📄 摘要（原文）

Video diffusion models (VDMs) trained on internet-scale data encode a rich prior on appearance, motion, and physics that is difficult to replicate with explicit 3D rendering and costly 3D data capture. We introduce Video Diffusion Avatars (VDAs), a method that creates photo-realistic, multi-view consistent avatars from a single image by fine-tuning a VDM for precise control over camera viewpoint, facial expression, and upper-body pose. Departing from 3D morphable models (3DMMs), VDAs use a learned expression space that lifts the expressiveness ceiling of 3DMMs, e.g., for the tongue and mouth interior. However, learned expression codes exhibit heavy viewpoint bias, as our DISTRACT benchmark reveals. We show that this bias can be removed through disentanglement, enabling their use as driving signals for multi-view consistent avatars. Camera and upper-body pose are controlled jointly via proxy-mesh renderings, giving independent control over expression, pose, and viewpoint. A camera-triplet training strategy makes the approach efficient: our models train for 34 hours on a single A100 using only public multi-view data. VDAs outperform state-of-the-art single-image 3D avatars on novel-view reenactment, reducing face LPIPS by 29% and improving perceptual quality (JOD) by 66% on BecomingLit. A static 3DGS reconstruction probe further confirms that our generations are the most multi-view consistent. Built on a video prior, VDAs produce effects beyond the reach of explicit renderers, including physically plausible hair dynamics, shadows, reflections, and refractions.