EvolvingAvatar: Interactive 3D Head Generation That Adapts as Conversations Unfold

📄 arXiv: 2609.35616v1 📥 PDF

作者: Junjie Chen, Fei Wang, Kun Li, Yiqi Nie, Xun Yang, Yanbin Hao, Linfeng Zhang, Meng Wang

分类: cs.CV

发布日期: 2026-09-28

备注: Project Page: https://blog.evolving-avatar.com

💡 一句话要点

提出EvolvingAvatar以解决互动3D头像生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D头像生成 自监督学习 动态适应 人机交互 虚拟现实

📋 核心要点

  1. 现有的3D头像生成方法在对话过程中未能有效利用动态对话模式作为学习信号，导致生成效果受限。
  2. EvolvingAvatar通过测试时训练，动态适应用户的面部视频和音频，利用双人上下文预测目标进行自监督学习。
  3. 实验结果显示，EvolvingAvatar在对话运动生成上显著优于强基线，尤其在最具挑战性的分布外数据集上，生成效果提升显著。

📝 摘要（中文）

互动3D头像生成需要协调的说话和听觉动作，以响应不断发展的对话。现有生成器使用输入观察作为上下文，但保持参数固定，未能利用对话模式作为学习信号。我们提出EvolvingAvatar，这是一种因果生成器，利用测试时训练在交互过程中适应用户面部视频和双人音频。其双人上下文预测目标提供了一种自监督学习信号，无需测试时的目标运动标签。持久快速权重在每次对话中累积这些更新，以指导运动生成，而瞬态下颌适应则响应当前的视听上下文。预测的语音活动控制持久适应如何引导运动。我们还引入了InterHead-Bench，这是一个统一的455.95小时基准，基于单视图和双视图对话视频。实验表明，相较于强基线，生成的对话运动统计数据有所改善。在最具挑战性的分布外拆分中，随着对话的展开，生成效果提升，用户-头像表情统计的不匹配度降低了多达11.1%。

🔬 方法详解

问题定义：本论文旨在解决互动3D头像生成中，现有方法未能有效利用对话模式作为学习信号的问题。现有生成器在生成过程中保持参数固定，导致生成效果受限。

核心思路：EvolvingAvatar的核心思路是通过测试时训练，使生成器能够动态适应用户的面部视频和双人音频，从而实时响应对话的变化。这样的设计使得生成器能够利用实时的视听上下文进行自监督学习。

技术框架：EvolvingAvatar的整体架构包括两个主要模块：持久快速权重模块和瞬态下颌适应模块。持久快速权重模块在每次对话中累积更新，以指导运动生成，而瞬态下颌适应模块则根据当前的视听上下文进行调整。

关键创新：本研究的关键创新在于引入了双人上下文预测目标，提供了一种自监督学习信号，且无需在测试时使用目标运动标签。这一方法与现有固定参数生成器的本质区别在于其动态适应性。

关键设计：在参数设置上，持久快速权重通过累积更新来引导运动生成，而瞬态下颌适应则通过预测的语音活动来控制适应的程度。损失函数设计上，结合了自监督学习信号，确保生成的运动与用户的实际表情统计相匹配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EvolvingAvatar在对话运动生成上显著优于强基线，尤其在最具挑战性的分布外数据集上，生成效果提升显著，用户-头像表情统计的不匹配度降低了多达11.1%。这一结果验证了该方法在动态对话场景中的有效性和适应性。

🎯 应用场景

EvolvingAvatar的研究成果在虚拟现实、游戏开发和人机交互等领域具有广泛的应用潜力。通过实现更自然的3D头像生成，该技术可以提升用户体验，使虚拟角色在对话中表现得更加生动和真实。未来，该技术还可能推动社交机器人和智能助手的发展，使其能够更好地理解和响应用户的情感和意图。

📄 摘要（原文）

Interactive 3D head generation requires coordinated speaking and listening motion that responds to an evolving conversation. Existing generators use incoming observations as context but keep their parameters fixed, leaving conversational patterns unused as a learning signal. We introduce EvolvingAvatar, a causal generator that uses test-time training to adapt to user face video and dyadic audio during interaction. Its dyadic context prediction objective provides a self-supervised learning signal from audiovisual context without target motion labels at test time. Persistent fast weights accumulate these updates within each conversation to guide motion generation, while transient jaw adaptation responds to current audiovisual context. Predicted speech activity controls how persistent adaptation guides motion. We also introduce InterHead-Bench, a unified 455.95-hour benchmark built from single-view and dual-view conversation videos. Experiments show improved conversational motion statistics over strong baselines. On the hardest out-of-distribution split, generation improves as conversations unfold, reducing mismatch with recorded user-avatar expression statistics by up to 11.1% from the first interval.