FastVoiceGrad: One-step Diffusion-Based Voice Conversion with Adversarial Conditional Diffusion Distillation

📄 arXiv: 2409.02245v1 📥 PDF

作者: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

分类: cs.SD, cs.AI, cs.LG, eess.AS, stat.ML

发布日期: 2024-09-03

备注: Accepted to Interspeech 2024. Project page: https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/

💡 一句话要点

提出FastVoiceGrad，通过对抗条件扩散蒸馏实现单步语音转换，提升推理速度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语音转换 扩散模型 对抗学习 条件扩散蒸馏 单步生成 快速推理 语音合成

📋 核心要点

  1. 基于扩散模型的语音转换方法在语音质量和说话人相似度上表现出色，但推理速度慢是其主要瓶颈。
  2. FastVoiceGrad通过对抗条件扩散蒸馏(ACDD)将多步扩散过程简化为单步，显著提升推理速度。
  3. 实验表明，FastVoiceGrad在one-shot任意到任意语音转换任务中，性能与多步扩散模型相当甚至更优，同时大幅提升了推理速度。

📝 摘要（中文）

基于扩散的语音转换(VC)技术，如VoiceGrad，因其在语音质量和说话人相似度方面的高VC性能而备受关注。然而，一个显著的限制是多步逆扩散导致的推理速度慢。因此，我们提出了FastVoiceGrad，一种新颖的单步扩散语音转换方法，它将迭代次数从几十次减少到一次，同时继承了多步扩散语音转换的高VC性能。我们利用生成对抗网络和扩散模型的能力，并通过重新考虑采样中的初始状态，使用对抗条件扩散蒸馏(ACDD)来获得该模型。对one-shot任意到任意VC的评估表明，FastVoiceGrad实现了优于或可与先前多步扩散VC相媲美的VC性能，同时提高了推理速度。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/ 获得。

🔬 方法详解

问题定义：现有的基于扩散模型的语音转换方法，如VoiceGrad，虽然在语音质量和说话人相似度上表现出色，但由于需要进行多步逆扩散过程，导致推理速度非常慢，难以满足实时性要求。

核心思路：论文的核心思路是利用对抗条件扩散蒸馏(ACDD)将多步扩散过程“蒸馏”成单步过程。通过训练一个生成器，使其能够直接从噪声预测目标语音，从而避免了迭代式的逆扩散过程，大幅提升推理速度。

技术框架：FastVoiceGrad的整体框架包含一个生成器和一个判别器。生成器负责将源语音转换为目标语音，判别器则用于区分生成的目标语音和真实的目标语音。ACDD训练过程利用了扩散模型的特性，通过对抗训练的方式，使得生成器能够学习到从噪声到目标语音的映射。

关键创新：该方法最重要的创新点在于使用对抗条件扩散蒸馏(ACDD)将多步扩散过程简化为单步过程。传统扩散模型需要多次迭代才能生成高质量的语音，而ACDD通过对抗训练，使得生成器能够一步到位地生成目标语音，从而显著提升了推理速度。

关键设计：ACDD的关键设计包括：1) 使用生成对抗网络(GAN)进行训练，利用GAN的生成能力和判别能力来提升生成语音的质量。2) 重新考虑采样中的初始状态，可能涉及到对初始噪声分布的调整或对生成器输入的特殊设计，以保证单步生成过程的稳定性和质量。具体的损失函数和网络结构细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，FastVoiceGrad在one-shot任意到任意语音转换任务中，实现了与多步扩散模型相当甚至更优的性能，同时大幅提升了推理速度。具体性能数据（如客观指标和主观评价结果）和提升幅度需要在论文中查找（未知）。该方法成功地将多步扩散过程简化为单步，为实时语音转换应用提供了可能。

🎯 应用场景

FastVoiceGrad具有广泛的应用前景，例如实时语音转换、个性化语音合成、语音助手定制等。该技术可以用于开发更快速、更自然的语音交互系统，提升用户体验。此外，该技术还可以应用于语音克隆、语音伪造检测等领域，具有重要的社会价值。

📄 摘要（原文）

Diffusion-based voice conversion (VC) techniques such as VoiceGrad have attracted interest because of their high VC performance in terms of speech quality and speaker similarity. However, a notable limitation is the slow inference caused by the multi-step reverse diffusion. Therefore, we propose FastVoiceGrad, a novel one-step diffusion-based VC that reduces the number of iterations from dozens to one while inheriting the high VC performance of the multi-step diffusion-based VC. We obtain the model using adversarial conditional diffusion distillation (ACDD), leveraging the ability of generative adversarial networks and diffusion models while reconsidering the initial states in sampling. Evaluations of one-shot any-to-any VC demonstrate that FastVoiceGrad achieves VC performance superior to or comparable to that of previous multi-step diffusion-based VC while enhancing the inference speed. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/fastvoicegrad/.