DriftTTS: Few-Step Text-to-Speech Without Distillation via Distribution-Matching Drift

📄 arXiv: 2610.03390v1 📥 PDF

作者: Mohammad Nur Hossain Khan, Subrata Biswas, Bashima Islam

分类: cs.SD, cs.AI

发布日期: 2026-10-02

💡 一句话要点

提出DriftTTS以解决少步文本到语音合成中的依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文本到语音合成 少步合成 分布匹配 梅尔谱图 深度学习 语音生成

📋 核心要点

  1. 现有的少步文本到语音合成方法通常依赖于预训练模型或复杂的训练过程，限制了其灵活性和效率。
  2. DriftTTS通过引入分布匹配漂移目标，避免了对生成教师和蒸馏的依赖，提供了一种新的少步合成方式。
  3. 在LJSpeech数据集上，DriftTTS在合成质量和听感测试中表现出色，达到了与现有方法相当甚至更好的性能。

📝 摘要（中文）

少步神经文本到语音模型通常依赖于缩短的扩散或流匹配调度，或从预训练的多步教师进行蒸馏。为避免这些依赖，本文提出了DriftTTS，这是一种在没有生成教师、蒸馏或对抗判别的情况下训练的少步梅尔谱图生成器。DriftTTS在由原始梅尔和在相同LJSpeech训练集上预训练的冻结掩蔽自编码器定义的梅尔域特征空间中使用分布匹配漂移目标。通过策略回滚，解码器在其自身的中间状态上进行训练，并支持高达训练回滚深度的推理。在LJSpeech数据集上，DriftTTS在NFE=4时实现了3.87 dB的MCD和3.7%的WER，相比之下，Matcha-TTS的结果分别为3.85 dB和3.4%。在完全配对的盲听测试中，DriftTTS获得了4.18的MOS，相比Matcha-TTS的3.96和真实值的4.22。这些结果展示了在没有预训练生成教师的情况下，具有竞争力的少步合成能力。

🔬 方法详解

问题定义：现有的少步文本到语音合成方法往往依赖于复杂的训练策略，如蒸馏和预训练模型，这使得模型的灵活性和适应性受到限制。

核心思路：DriftTTS的核心思路是通过分布匹配漂移目标，在梅尔域特征空间中直接训练生成器，避免了对生成教师的依赖，从而简化了训练过程。

技术框架：DriftTTS的整体架构包括一个梅尔谱图生成器和一个冻结的掩蔽自编码器。生成器通过策略回滚机制在其自身的中间状态上进行训练，支持高效的推理。

关键创新：DriftTTS的主要创新在于其不依赖于预训练生成教师的设计，使得模型能够在少步合成中实现高质量输出，突破了传统方法的限制。

关键设计：在模型设计中，使用了分布匹配漂移目标作为损失函数，并通过冻结的掩蔽自编码器来捕捉梅尔特征，确保生成的梅尔谱图质量。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在LJSpeech数据集上，DriftTTS在NFE=4时实现了3.87 dB的MCD和3.7%的WER，表现优于Matcha-TTS的3.85 dB和3.4%。在盲听测试中，DriftTTS获得了4.18的MOS，接近真实值4.22，显示出其在少步合成中的竞争力。

🎯 应用场景

DriftTTS的研究成果在文本到语音合成领域具有广泛的应用潜力，尤其是在需要快速生成高质量语音的场景中，如语音助手、自动客服和有声书制作等。其简化的训练过程也为未来的模型开发提供了新的思路，可能推动更高效的语音合成技术的发展。

📄 摘要（原文）

Few-step neural text-to-speech models often rely on short- ened diffusion or flow-matching schedules, or on distillation from pretrained multi-step teachers. To avoid these depen- dencies, we present DriftTTS, a few-step mel-spectrogram generator trained without a generative teacher, distillation, or adversarial discrimination. DriftTTS uses a distribution- matching drift objective in a mel-domain feature space defined by raw mels and a frozen masked-autoencoder encoder pretrained on the same LJSpeech training split. On-policy rollout trains the decoder on its own interme- diate states and supports inference up to the trained roll- out depth. On LJSpeech, DriftTTS at NFE=4 achieves 3.87 dB MCD and 3.7% WER, compared with 3.85 dB and 3.4% for Matcha-TTS. In a fully paired blind listen- ing test, DriftTTS obtains 4.18 MOS, compared with 3.96 for Matcha-TTS and 4.22 for ground truth. These results demonstrate competitive few-step synthesis without a pre- trained generative teacher. Code can be found at https: //github.com/BASHLab/driftTTS.git