Do Discrete Self-Supervised Representations of Speech Capture Tone Distinctions?

📄 arXiv: 2410.19935v1 📥 PDF

作者: Opeyemi Osakuade, Simon King

分类: cs.CL, cs.SD, eess.AS

发布日期: 2024-10-25

备注: Submitted to ICASSP 2025

💡 一句话要点

离散语音自监督表征在声调语言中损失声调信息

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自监督学习 语音表征 离散化 声调语言 低资源语音

📋 核心要点

  1. 现有方法依赖于对SSL模型输出的潜在向量进行无监督聚类，以获得离散语音表征，可能无法有效捕捉声调信息。
  2. 该论文通过比较连续潜在向量和离散符号在声调分类任务中的表现，评估了离散化对声调信息的影响。
  3. 实验结果表明，即使是针对特定语言的SSL模型，离散化也会导致显著的声调信息损失，提示需要任务感知的离散化方法。

📝 摘要（中文）

本研究评估了从自监督学习（SSL）基础模型获得的离散语音表征是否能充分捕捉声调的区分，尤其是在下游任务数据有限的低资源语言中。通常，语音离散化为符号序列是通过对SSL模型潜在向量进行无监督聚类来实现的。我们使用k-means算法，比较了来自HuBERT base、MandarinHuBERT或XLS-R的潜在向量与离散符号，用于元音和声调分类，以考察其对普通话和约鲁巴语两种语言中声调的捕捉能力。研究发现，即使对于特定于语言的SSL模型，使用离散符号也会导致大量声调信息丢失。我们认为，离散化需要感知任务，特别是对于声调相关的下游任务。

🔬 方法详解

问题定义：论文旨在研究使用自监督学习（SSL）模型获得的离散语音表征是否能够充分捕捉声调语言中的声调信息。现有方法通常使用无监督聚类（如k-means）将SSL模型的潜在向量离散化为符号序列，但这种方法可能无法保留语音中的细微声调差异，尤其是在低资源声调语言中。

核心思路：论文的核心思路是通过对比连续的潜在向量和离散化后的符号在声调分类任务中的表现，来评估离散化过程对声调信息的损失程度。如果离散符号在声调分类任务中表现明显不如连续向量，则说明离散化过程丢失了重要的声调信息。

技术框架：整体流程包括：1) 使用不同的SSL模型（HuBERT base, MandarinHuBERT, XLS-R）提取语音的潜在向量；2) 使用k-means算法对潜在向量进行聚类，得到离散符号；3) 使用潜在向量和离散符号分别训练声调分类器；4) 比较两种分类器的性能，评估离散化对声调信息的影响。

关键创新：论文的关键创新在于对离散语音表征在声调捕捉方面的局限性进行了实证研究，并指出了现有无监督离散化方法可能不适用于声调相关的下游任务。这促使研究者重新思考离散化策略，并探索任务感知的离散化方法。

关键设计：论文使用了三种不同的SSL模型，包括通用模型（HuBERT base, XLS-R）和针对普通话训练的模型（MandarinHuBERT），以考察不同模型的表现。k-means算法的聚类中心数量是一个关键参数，需要根据具体任务进行调整。声调分类器的选择也会影响实验结果，论文中使用的分类器类型未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用离散符号进行声调分类时，性能显著下降，即使是使用专门针对普通话训练的MandarinHuBERT模型也是如此。这表明，现有的无监督离散化方法会丢失大量的声调信息，需要进一步改进。具体的性能下降幅度未知。

🎯 应用场景

该研究结果对于语音识别、语音合成等领域具有重要意义，尤其是在处理低资源声调语言时。未来的研究可以探索任务感知的离散化方法，例如在离散化过程中引入声调信息，以提高离散语音表征在声调相关任务中的性能。这有助于开发更有效的低资源语音处理系统。

📄 摘要（原文）

Discrete representations of speech, obtained from Self-Supervised Learning (SSL) foundation models, are widely used, especially where there are limited data for the downstream task, such as for a low-resource language. Typically, discretization of speech into a sequence of symbols is achieved by unsupervised clustering of the latents from an SSL model. Our study evaluates whether discrete symbols - found using k-means - adequately capture tone in two example languages, Mandarin and Yoruba. We compare latent vectors with discrete symbols, obtained from HuBERT base, MandarinHuBERT, or XLS-R, for vowel and tone classification. We find that using discrete symbols leads to a substantial loss of tone information, even for language-specialised SSL models. We suggest that discretization needs to be task-aware, particularly for tone-dependent downstream tasks.