VibeAvatar: Aligning Phonetic Kinematics and Human Aesthetics for High-Fidelity Talking Avatar Synthesis

📄 arXiv: 2609.18632v1 📥 PDF

作者: Qilin Wang, Mingyu Li, Hao Tang

分类: cs.CV

发布日期: 2026-09-16

💡 一句话要点

提出VibeAvatar以解决多模态虚拟人合成中的准确性与美学问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 多模态合成 虚拟人技术 运动美学 语音识别 高效推理

📋 核心要点

  1. 现有的多模态虚拟人合成方法在唇部发音准确性和运动美学方面存在不足，难以同时满足这两者的需求。
  2. VibeAvatar通过将语音运动适配器（PKA）与美学运动策略（AMP）相结合，分别在不同阶段优化语音特征和运动美学。
  3. 实验结果表明，VibeAvatar在发音、审美和效率上均优于现有方法，能够在短时间内生成高质量的视频。

📝 摘要（中文）

多模态虚拟人合成旨在从参考肖像和语音生成逼真的视频。尽管基于扩散的方法取得了快速进展，但现有方法在准确的唇部发音、人类偏好的运动美学和高效推理方面仍面临挑战。我们观察到，语音准确性和运动美学源于根本不同的来源，应该在互补的阶段进行处理，而不是由单一生成器隐式学习。基于这一见解，我们提出了VibeAvatar，通过语音运动适配器（PKA）在条件阶段将识别导向的语音特征转换为语音运动条件，并通过美学运动策略（AMP）在后训练阶段优化流一致的随机采样策略。VibeAvatar在发音、审美和效率方面在客观指标和用户研究中均取得了最先进的结果，同时在不到10秒内生成10秒的512px视频，仅需约3GB的显存。

🔬 方法详解

问题定义：本论文旨在解决多模态虚拟人合成中唇部发音准确性与运动美学之间的矛盾。现有方法通常无法同时兼顾这两者，导致生成的视频质量不高。

核心思路：VibeAvatar的核心思路是将语音运动适配器（PKA）与美学运动策略（AMP）分开处理，分别在条件阶段和后训练阶段优化语音特征和运动美学，从而实现更高的合成质量。

技术框架：VibeAvatar的整体架构包括两个主要模块：第一是PKA模块，将语音特征转换为运动条件；第二是AMP模块，通过优化策略生成流一致的运动。

关键创新：VibeAvatar的关键创新在于将语音准确性与运动美学的优化分开处理，利用不同的模块和阶段来实现互补，从而显著提升合成效果。

关键设计：在设计上，VibeAvatar采用了轻量级的基于流的运动生成器，操作在紧凑的1D扭曲基础潜在运动空间中，确保了高效的推理和较低的显存占用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VibeAvatar在发音、审美和效率方面均取得了最先进的结果，特别是在用户研究中表现突出。生成10秒的512px视频仅需约3GB显存，且在10秒内完成，显示出其高效性和实用性。

🎯 应用场景

VibeAvatar的研究成果在虚拟现实、游戏开发、影视制作等领域具有广泛的应用潜力。通过生成高质量的虚拟人视频，该技术可以提升用户体验，推动人机交互的自然化和智能化发展，未来可能在社交媒体和在线教育等场景中发挥重要作用。

📄 摘要（原文）

Multi-modal talking avatar synthesis aims to generate realistic talking videos from a reference portrait and speech. Despite rapid progress in diffusion-based methods, existing approaches still struggle to jointly achieve accurate lip articulation, human-preferred motion aesthetics, and efficient inference. We observe that phonetic accuracy and motion aesthetics arise from fundamentally different sources and should be addressed at complementary stages rather than learned implicitly by a single generator. Based on this insight, we propose VibeAvatar, which disentangles these two objectives through a Phonetic Kinematics Adapter (PKA) that converts recognition-oriented speech features into phonetic-kinematic conditions at the conditioning stage, and an Aesthetic Motion Policy (AMP) that optimizes a flow-consistent stochastic sampling policy via Group Relative Policy Optimization (GRPO) at the post-training stage. With a lightweight flow-based motion generator operating in a compact 1D warp-based latent motion space, VibeAvatar achieves state-of-the-art results in articulation, aesthetics, and efficiency on both objective metrics and user studies, while generating a 10-second 512px video in under 10 seconds with only $\sim$3GB VRAM.