MMDisCo: Multi-Modal Discriminator-Guided Cooperative Diffusion for Joint Audio and Video Generation
作者: Akio Hayakawa, Masato Ishii, Takashi Shibuya, Yuki Mitsufuji
分类: cs.CV, cs.LG, cs.MM, cs.SD, eess.AS
发布日期: 2024-05-28 (更新: 2025-02-25)
备注: ICLR 2025
🔗 代码/项目: GITHUB
💡 一句话要点
MMDisCo：利用多模态判别器引导协同扩散，实现联合音视频生成
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音视频生成 多模态学习 扩散模型 判别器引导 协同生成
📋 核心要点
- 现有音视频生成模型计算成本高昂，难以有效利用预训练的单模态生成模型。
- 提出一种基于多模态判别器引导的协同扩散方法，引导单模态模型生成对齐良好的音视频。
- 实验表明，该方法在少量参数下，显著提升了单模态保真度和多模态对齐效果。
📝 摘要（中文）
本研究旨在通过利用预训练的单模态音视频生成模型，以最小的计算成本构建音视频联合生成模型。为此，我们提出了一种新颖的方法，该方法引导单模态模型协同生成跨模态对齐良好的样本。具体而言，给定两个预训练的基础扩散模型，我们训练一个轻量级的联合引导模块，以调整由基础模型分别估计的分数，使其与音视频联合分布的分数相匹配。我们证明，这种引导可以使用最优判别器的梯度来计算，该判别器区分真实音视频对和由基础模型独立生成的虚假音视频对。基于此分析，我们通过训练该判别器来构建联合引导模块。此外，我们采用损失函数来稳定判别器的梯度，并使其像标准扩散模型一样充当噪声估计器。在多个基准数据集上的实验评估表明，我们的方法以相对较少的参数提高了单模态保真度和多模态对齐。
🔬 方法详解
问题定义：现有音视频联合生成模型通常需要从头开始训练，计算资源消耗巨大，并且难以充分利用已有的、在单模态数据上预训练的模型。因此，如何高效地利用预训练的单模态模型，以较低的成本生成高质量且对齐的音视频，是一个重要的挑战。
核心思路：论文的核心思路是训练一个轻量级的联合引导模块，该模块能够指导预训练的单模态音视频扩散模型协同工作，生成对齐的音视频样本。该引导模块通过学习一个判别器来实现，该判别器区分真实的音视频对和由单模态模型独立生成的虚假音视频对。
技术框架：整体框架包含两个预训练的单模态扩散模型（分别用于音频和视频生成）和一个联合引导模块。该联合引导模块基于判别器，用于调整单模态模型估计的分数，使其更接近音视频联合分布的分数。在生成过程中，单模态模型在联合引导模块的指导下，逐步生成音视频样本。
关键创新：该方法的核心创新在于利用最优判别器的梯度来指导单模态扩散模型进行协同生成。通过训练判别器来区分真实和虚假的音视频对，并利用其梯度信息来调整单模态模型的分数估计，从而实现多模态对齐。这种方法避免了从头开始训练联合模型，显著降低了计算成本。
关键设计：论文采用对抗学习的方式训练判别器，并使用损失函数来稳定判别器的梯度，使其能够有效地估计噪声。判别器的具体网络结构未知，但其目标是区分真实音视频对和由单模态模型独立生成的虚假音视频对。联合引导模块的具体实现细节未知，但其作用是根据判别器的梯度信息调整单模态模型的分数估计。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MMDisCo方法在多个基准数据集上提高了单模态保真度和多模态对齐效果。具体性能数据未知，但论文强调该方法以相对较少的参数实现了显著的性能提升，证明了其高效性和实用性。与直接训练联合模型相比，该方法大大降低了计算成本。
🎯 应用场景
该研究成果可应用于音视频内容创作、虚拟现实、游戏开发等领域。例如，可以用于生成与特定音乐风格匹配的视频内容，或者为虚拟场景生成逼真的音视频效果。该方法降低了音视频联合生成模型的训练成本，使得更多开发者能够利用AI技术进行内容创作。
📄 摘要（原文）
This study aims to construct an audio-video generative model with minimal computational cost by leveraging pre-trained single-modal generative models for audio and video. To achieve this, we propose a novel method that guides single-modal models to cooperatively generate well-aligned samples across modalities. Specifically, given two pre-trained base diffusion models, we train a lightweight joint guidance module to adjust scores separately estimated by the base models to match the score of joint distribution over audio and video. We show that this guidance can be computed using the gradient of the optimal discriminator, which distinguishes real audio-video pairs from fake ones independently generated by the base models. Based on this analysis, we construct a joint guidance module by training this discriminator. Additionally, we adopt a loss function to stabilize the discriminator's gradient and make it work as a noise estimator, as in standard diffusion models. Empirical evaluations on several benchmark datasets demonstrate that our method improves both single-modal fidelity and multimodal alignment with relatively few parameters. The code is available at: https://github.com/SonyResearch/MMDisCo.