Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation

📄 arXiv: 2505.22647v1 📥 PDF

作者: Zhe Kong, Feng Gao, Yong Zhang, Zhuoliang Kang, Xiaoming Wei, Xunliang Cai, Guanying Chen, Wenhan Luo

分类: cs.CV

发布日期: 2025-05-28

备注: Homepage: https://meigen-ai.github.io/multi-talk Github: https://github.com/MeiGen-AI/MultiTalk

💡 一句话要点

提出MultiTalk框架，解决多人对话场景下的音视频生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多人对话生成 音视频同步 音频驱动 人物动画 旋转位置嵌入

📋 核心要点

  1. 现有音频驱动的人体动画方法主要集中于单人动画，难以处理多路音频输入，面临音频与人物绑定错误的问题。
  2. MultiTalk框架通过标签旋转位置嵌入（L-RoPE）方法，有效解决了多人对话场景下音频和人物的正确绑定问题。
  3. 实验结果表明，MultiTalk在说话人头部、身体和多人数据集上均优于其他方法，验证了其强大的生成能力。

📝 摘要（中文）

本文提出了一种新的任务：多人对话视频生成，并为此引入了一个新的框架MultiTalk，以应对多人生成过程中遇到的挑战。具体而言，针对音频注入问题，研究了几种方案，并提出了标签旋转位置嵌入（L-RoPE）方法来解决音频和人物之间的绑定问题。此外，在训练过程中，我们观察到部分参数训练和多任务训练对于保持基础模型的指令遵循能力至关重要。在包括说话人头部、说话人身体和多人数据集在内的多个数据集上，MultiTalk与其他方法相比实现了卓越的性能，证明了我们方法的强大生成能力。

🔬 方法详解

问题定义：论文旨在解决多人对话场景下的音视频生成问题。现有方法主要集中于单人动画，无法直接应用于多人场景。主要痛点在于如何正确地将多个音频流与画面中的人物对应起来，避免音频和人物的错配，同时保持生成视频的自然性和指令遵循能力。

核心思路：论文的核心思路是设计一种能够区分不同说话人的音频嵌入方法，并将其与人物身份信息相结合，从而实现音频和人物的正确绑定。此外，通过部分参数训练和多任务训练，保持基础模型的指令遵循能力，确保生成视频的内容与音频输入相符。

技术框架：MultiTalk框架主要包含音频特征提取模块、人物身份编码模块、音频-人物绑定模块和视频生成模块。首先，提取每个说话人的音频特征，并对每个人物进行身份编码。然后，使用L-RoPE方法将音频特征和人物身份信息融合，实现音频和人物的正确绑定。最后，将融合后的特征输入到视频生成模块，生成多人的对话视频。

关键创新：论文最关键的创新点在于提出了标签旋转位置嵌入（L-RoPE）方法，用于解决多路音频输入下音频和人物的绑定问题。L-RoPE方法通过引入可学习的标签信息，区分不同的说话人，并利用旋转位置编码将音频特征和人物身份信息进行融合，从而实现更准确的音频-人物对应关系。

关键设计：L-RoPE方法是关键设计之一，它将音频特征和人物身份信息进行旋转编码，使得模型能够学习到音频和人物之间的相对位置关系。此外，论文还采用了部分参数训练策略，只更新与音频注入相关的参数，避免破坏预训练模型的指令遵循能力。多任务训练策略则同时优化视频质量和音频-人物同步性，进一步提升生成视频的真实感。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MultiTalk在多个数据集上取得了显著的性能提升。在说话人头部数据集上，MultiTalk在生成视频的清晰度和同步性方面均优于现有方法。在多人数据集上，MultiTalk能够准确地将音频与对应的人物绑定，避免了音频错配问题。实验结果表明，L-RoPE方法能够有效提升音频-人物绑定的准确率，部分参数训练和多任务训练能够有效保持模型的指令遵循能力。

🎯 应用场景

该研究成果可应用于虚拟会议、在线教育、游戏娱乐等领域，实现更自然、更具沉浸感的多人音视频互动体验。例如，在虚拟会议中，可以根据每个参会者的发言生成对应的面部表情和口型，提升沟通效率和真实感。未来，该技术有望进一步发展，实现更逼真、更智能的虚拟人交互。

📄 摘要（原文）

Audio-driven human animation methods, such as talking head and talking body generation, have made remarkable progress in generating synchronized facial movements and appealing visual quality videos. However, existing methods primarily focus on single human animation and struggle with multi-stream audio inputs, facing incorrect binding problems between audio and persons. Additionally, they exhibit limitations in instruction-following capabilities. To solve this problem, in this paper, we propose a novel task: Multi-Person Conversational Video Generation, and introduce a new framework, MultiTalk, to address the challenges during multi-person generation. Specifically, for audio injection, we investigate several schemes and propose the Label Rotary Position Embedding (L-RoPE) method to resolve the audio and person binding problem. Furthermore, during training, we observe that partial parameter training and multi-task training are crucial for preserving the instruction-following ability of the base model. MultiTalk achieves superior performance compared to other methods on several datasets, including talking head, talking body, and multi-person datasets, demonstrating the powerful generation capabilities of our approach.