MeanVoiceFlow2: Joint Optimization of Mean Flow and Content Encoder for Fast One-Step Zero-Shot Voice Conversion

📄 arXiv: 2609.40087v1 📥 PDF

作者: Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo

分类: cs.SD, cs.AI, cs.LG, eess.AS

发布日期: 2026-09-30

备注: Accepted to Interspeech 2026. Project page: https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/meanvoiceflow2/

💡 一句话要点

提出MeanVoiceFlow2以解决语音转换中的计算瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语音转换 流匹配 扩散GAN 蒸馏训练 高效编码器 实时语音处理 机器学习

📋 核心要点

  1. 现有的语音转换方法在推理速度和计算效率上存在瓶颈，尤其是对内容编码器的高依赖性。
  2. 本文提出的MeanVoiceFlow2框架通过联合优化流转换模块和高效内容编码器，解决了计算密集的问题。
  3. 实验结果显示，MeanVoiceFlow2在零-shot语音转换中实现了更高的感知质量，并且推理速度提升了约9倍。

📝 摘要（中文）

流匹配方法在语音转换（VC）中因其高语音质量和强大的说话者相似性而受到关注。其中，像MeanVoiceFlow这样的单步模型因其高效推理而备受青睐，但其对计算密集型内容编码器的依赖成为瓶颈。因此，本文提出了MeanVoiceFlow2框架，联合优化基于流的转换模块和计算高效的内容编码器。该模型通过使用MeanVoiceFlow进行转换蒸馏和真实数据重建进行训练。此外，我们还结合了扩散GAN训练、样本混合和教师引导的条件增强，以提高真实感和解耦性。实验结果表明，MeanVoiceFlow2在零-shot VC任务中实现了更高的感知质量，并且推理速度比MeanVoiceFlow快约9倍，同时保持了相似的说话者相似性。

🔬 方法详解

问题定义：本文旨在解决现有语音转换方法中对计算密集型内容编码器的依赖问题，导致推理速度缓慢和效率低下。

核心思路：MeanVoiceFlow2通过联合优化流转换模块和高效内容编码器，减少了计算负担，从而提高了推理速度和语音质量。

技术框架：该框架包括流转换模块和内容编码器，采用转换蒸馏和真实数据重建进行训练，同时结合扩散GAN训练以增强模型的真实感和解耦性。

关键创新：MeanVoiceFlow2的主要创新在于其联合优化策略，显著降低了对内容编码器的计算需求，与传统方法相比，推理速度大幅提升。

关键设计：模型采用了特定的损失函数以平衡语音质量和推理速度，同时在网络结构上进行了优化，以适应扩散GAN训练和样本混合策略。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，MeanVoiceFlow2在零-shot语音转换任务中实现了更高的感知质量，推理速度比MeanVoiceFlow快约9倍，同时保持了相似的说话者相似性。这一显著提升展示了新框架在实际应用中的优势。

🎯 应用场景

MeanVoiceFlow2在语音转换领域具有广泛的应用潜力，特别是在实时语音翻译、语音合成和个性化语音助手等场景中。其高效的推理能力和优质的语音输出使其在商业和研究中都具有重要的实际价值，未来可能推动更智能的语音交互技术的发展。

📄 摘要（原文）

Flow-matching approaches to voice conversion (VC) have gained attention owing to their high speech quality and strong speaker similarity. Among them, one-step models such as MeanVoiceFlow are particularly attractive because they enable efficient inference; however, their reliance on a computationally intensive content encoder remains a bottleneck. We therefore propose MeanVoiceFlow2, a framework that jointly optimizes a flow-based conversion module and a computationally efficient content encoder. The model is trained through conversion distillation using MeanVoiceFlow and the reconstruction of real data. We further incorporate diffusion-GAN training with sample mixing and teacher-guided conditioning augmentation to enhance realism and disentanglement. Experiments on zero-shot VC showed that MeanVoiceFlow2 achieved higher perceptual quality and approximately $9\times$ faster inference than MeanVoiceFlow while maintaining comparable speaker similarity. Audio samples are available at https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/meanvoiceflow2/.