Boosting Large Language Model for Speech Synthesis: An Empirical Study

📄 arXiv: 2401.00246v1 📥 PDF

作者: Hongkun Hao, Long Zhou, Shujie Liu, Jinyu Li, Shujie Hu, Rui Wang, Furu Wei

分类: cs.CL, cs.SD, eess.AS

发布日期: 2023-12-30

💡 一句话要点

探索LLM赋能语音合成：对比三种集成方法提升语音生成质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语音合成 文本到语音 模型集成 低秩适应 LLM VALL-E

📋 核心要点

  1. 现有方法在利用大型语言模型进行语音合成时，缺乏有效增强LLM语音生成能力的方法。
  2. 论文探索了三种集成LLM和语音合成模型的方法，旨在提升LLM的语音合成能力。
  3. 实验结果表明，将LLM作为文本编码器的耦合方法，在说话人相似度和词错误率方面均优于原始语音合成模型。

📝 摘要（中文）

大型语言模型（LLM）在自然语言处理领域取得了显著进展，并正将其语言能力扩展到语音和视觉等其他模态。然而，先前的工作主要集中在使用LLM的感知能力（如听觉理解）进行提示，而增强LLM的语音合成能力的有效方法仍然不明确。本文通过结合预训练的LLM（LLaMA/OPT）和文本到语音合成模型VALL-E，对提升LLM生成语音的能力进行了全面的实证研究。我们比较了LLM和语音合成模型之间的三种集成方法，包括直接微调LLM、叠加LLM和VALL-E的层，以及使用LLM作为强大的文本编码器来耦合LLM和VALL-E。实验结果表明，使用LoRA方法直接微调LLM以提升语音合成能力效果不佳，而叠加LLM和VALL-E可以提高生成语音的质量，包括说话人相似度和词错误率（WER）。在这三种方法中，利用LLM作为文本编码器的耦合方法可以实现最佳性能，使其优于原始语音合成模型，具有始终如一的更好的说话人相似度，并显著降低了10.9%的WER。

🔬 方法详解

问题定义：论文旨在解决如何有效利用大型语言模型（LLM）提升语音合成质量的问题。现有方法主要集中于利用LLM的感知能力，而缺乏有效增强LLM语音生成能力的方法。直接微调LLM可能无法充分利用其语言建模能力，简单的叠加模型可能无法有效融合LLM和语音合成模型的优势。

核心思路：论文的核心思路是通过探索不同的LLM与语音合成模型的集成方式，充分利用LLM强大的语言建模能力来提升语音合成的质量。具体而言，论文比较了直接微调LLM、叠加LLM和语音合成模型以及将LLM作为文本编码器三种方法，旨在找到最佳的集成策略。将LLM作为文本编码器，可以利用LLM学习到的丰富的语言表示来指导语音合成，从而提升生成语音的自然度和准确性。

技术框架：论文的技术框架主要包括三个部分：预训练的LLM（LLaMA/OPT）、文本到语音合成模型VALL-E以及三种集成方法。第一种方法是直接使用LoRA方法微调LLM，使其具备语音合成能力。第二种方法是将LLM和VALL-E的层进行叠加，形成一个统一的模型。第三种方法是将LLM作为VALL-E的文本编码器，利用LLM提取文本的深层语义特征，然后将其输入到VALL-E中进行语音合成。

关键创新：论文的关键创新在于探索了将LLM作为文本编码器来提升语音合成质量的方法。与直接微调LLM或叠加模型相比，该方法能够更好地利用LLM的语言建模能力，从而生成更自然、更准确的语音。此外，论文还对三种集成方法进行了全面的实验比较，为后续研究提供了有价值的参考。

关键设计：在将LLM作为文本编码器的耦合方法中，关键的设计在于如何将LLM提取的文本特征有效地输入到VALL-E中。具体而言，论文将LLM的输出作为VALL-E的条件输入，并使用注意力机制来对齐文本特征和语音特征。此外，论文还使用了LoRA方法来减少微调LLM的参数量，从而降低计算成本。

📊 实验亮点

实验结果表明，将LLM作为文本编码器的耦合方法能够显著提升语音合成的质量。与原始语音合成模型相比，该方法在说话人相似度方面表现更好，并且词错误率（WER）降低了10.9%。这表明利用LLM的语言建模能力可以有效提升语音合成的性能。

🎯 应用场景

该研究成果可应用于语音助手、智能客服、语音合成工具等领域，提升语音交互的自然度和用户体验。通过利用LLM强大的语言建模能力，可以生成更自然、更具表现力的语音，从而改善人机交互的质量。未来，该研究还可以扩展到多语种语音合成、情感语音合成等方向。

📄 摘要（原文）

Large language models (LLMs) have made significant advancements in natural language processing and are concurrently extending the language ability to other modalities, such as speech and vision. Nevertheless, most of the previous work focuses on prompting LLMs with perception abilities like auditory comprehension, and the effective approach for augmenting LLMs with speech synthesis capabilities remains ambiguous. In this paper, we conduct a comprehensive empirical exploration of boosting LLMs with the ability to generate speech, by combining pre-trained LLM LLaMA/OPT and text-to-speech synthesis model VALL-E. We compare three integration methods between LLMs and speech synthesis models, including directly fine-tuned LLMs, superposed layers of LLMs and VALL-E, and coupled LLMs and VALL-E using LLMs as a powerful text encoder. Experimental results show that, using LoRA method to fine-tune LLMs directly to boost the speech synthesis capability does not work well, and superposed LLMs and VALL-E can improve the quality of generated speech both in speaker similarity and word error rate (WER). Among these three methods, coupled methods leveraging LLMs as the text encoder can achieve the best performance, making it outperform original speech synthesis models with a consistently better speaker similarity and a significant (10.9%) WER reduction.