MegaAvatar: Controllable Talking Avatar Generation

📄 arXiv: 2609.39273v1 📥 PDF

作者: Junyao Gao, Sibo Liu, Weidong Zhang, Cairong Zhao, Jun Zhang

分类: cs.CV

发布日期: 2026-09-30

备注: 7 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出MegaAvatar以解决可控虚拟人生成问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 可控虚拟人 3D指导 音频驱动 面部表情控制 身份保留

📋 核心要点

  1. 现有的虚拟人生成方法主要依赖音频或参考图像，缺乏对身体姿势和头部运动的全局控制，导致生成效果受限。
  2. 本研究提出了MegaAvatar，通过引入SMPL-X派生的3D指导，实现对虚拟人身体和头部运动的精确控制，同时增强了表情的细粒度控制。
  3. 实验结果显示，MegaAvatar在可控虚拟人生成方面表现出色，能够实现高质量的面部表情同步和身份一致性，支持灵活的分辨率和视频长度。

📝 摘要（中文）

本报告介绍了MegaAvatar，一个基于Wan2.2-TI2V-5B模型的可控虚拟人生成框架。与以往主要依赖音频或参考图像的虚拟人方法不同，我们引入了额外的SMPL-X派生3D指导，实现对身体姿势和头部运动的全局控制。具体而言，我们将驱动的SMPL-X序列渲染为密集网格帧，并通过轻量级3D卷积编码器进行编码，其输出被注入潜在标记中以提供整体运动控制。此外，我们扩展了Wan2.2-TI2V-5B，增加了音频和面部交叉注意力模块，以实现细粒度的表情控制并保持输入身份。实验表明，MegaAvatar能够生成高质量的可控虚拟人，具备同步的面部表情和一致的身份保留。

🔬 方法详解

问题定义：本论文旨在解决现有虚拟人生成方法在音频和图像条件下缺乏全局控制的问题，尤其是在身体姿势和头部运动方面的不足。

核心思路：通过引入SMPL-X派生的3D指导，MegaAvatar实现了对虚拟人运动的全局控制，允许用户在生成过程中对身体和头部姿势进行精确调整。

技术框架：MegaAvatar的整体架构包括多个模块：首先，将驱动的SMPL-X序列渲染为密集网格帧；然后，使用轻量级3D卷积编码器对这些帧进行编码；接着，将编码结果注入潜在标记中以实现运动控制；最后，扩展的音频和面部交叉注意力模块用于细粒度表情控制和身份保留。

关键创新：MegaAvatar的核心创新在于引入了SMPL-X派生的3D指导和音频到SMPL-X模型，使得生成的虚拟人能够在没有用户提供SMPL-X帧的情况下，依然实现高质量的音频驱动推理。

关键设计：在设计中，使用了轻量级3D卷积网络结构以提高效率，损失函数则结合了运动控制和表情一致性，确保生成的虚拟人具备自然的运动和表情变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MegaAvatar在可控虚拟人生成方面表现优异，能够实现高质量的面部表情同步和一致的身份保留。与基线方法相比，生成的虚拟人在运动控制和表情细节上有显著提升，具体性能数据尚未披露。

🎯 应用场景

MegaAvatar在虚拟现实、游戏开发、在线教育和社交媒体等领域具有广泛的应用潜力。通过提供高质量、可控的虚拟人生成，能够提升用户体验，促进人机交互的自然性和沉浸感。未来，该技术可能在影视制作和虚拟主播等新兴领域发挥重要作用。

📄 摘要（原文）

This report presents \textbf{MegaAvatar}, a controllable talking avatar generation framework built on top of the Wan2.2-TI2V-5B model. Compared with previous talking-avatar methods that mainly rely on audio or reference-image conditioning, we introduce additional SMPL-X-derived 3D guidance, enabling global control over body pose and head motion. Specifically, we render the driving SMPL-X sequence into dense mesh frames and encode them with a lightweight 3D convolutional encoder, whose outputs are injected into the latent tokens to provide overall motion control. Furthermore, we extend Wan2.2-TI2V-5B with additional audio and face cross-attention modules to enable fine-grained expression control and preserve the input identity, respectively. In addition, we implement an audio-to-SMPL-X model to predict an SMPL-X sequence conditioned on the reference image and input audio, allowing MegaAvatar to support audio-driven inference without user-provided SMPL-X frames. Experiments show that MegaAvatar achieves high-quality talking avatar generation with controllable body and head motion, speech-synchronized facial expressions, and consistent identity preservation. MegaAvatar also supports inference with flexible resolutions and video lengths. Codes, dataset, models will be avaliable in https://github.com/Jeoyal/MegaAvatar