Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
作者: Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel, Natalie Schluter
分类: cs.CL
发布日期: 2026-10-13
备注: submitted to ICASSP 2027
💡 一句话要点
提出一种轻量级方法直接从语音中检测代码切换
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码切换 多语言识别 语音编码器 机器学习 自然语言处理
📋 核心要点
- 现有方法依赖于准确的多语言转录，难以有效检测代码切换，限制了多语言语料库的构建。
- 提出一种直接从语音中检测代码切换的轻量级方法，利用预训练语音编码器的帧级语言信息。
- Whisper-small编码器在CS-FLEURS数据集上实现了0.798的平均F1值，显著优于其他基线模型，展示了方法的有效性。
📝 摘要（中文）
代码切换（CS）是多语言语音中常见的现象，但在预训练语料中却不足。为了增加CS覆盖率，需要在大型语音集合中找到相关的语句以纳入训练数据。现有方法依赖于准确的多语言转录，而我们提出了一种轻量级的方法，直接从语音中检测CS。该方法利用预训练语音编码器中的帧级语言信息，判断一个语句中是否同时存在两种语言。通过识别单语录音中的语言选择性隐藏状态维度，并将其帧级激活聚合为CS预测，我们展示了Whisper-small编码器在CS-FLEURS数据集上对14种语言对的平均F1值为0.798，相比之下，CNN为0.776，HuBERT线性基线为0.751。我们的研究表明，预训练的语音编码器已经编码了识别CS语句所需的信息，并为构建更具代表性的多语言语料库提供了一种轻量级工具。
🔬 方法详解
问题定义：本论文旨在解决如何有效检测多语言语音中的代码切换问题。现有方法依赖于准确的多语言转录，导致检测效率低下，限制了多语言语料库的构建。
核心思路：我们提出了一种轻量级的方法，直接从语音信号中提取帧级语言信息，以判断一个语句中是否包含多种语言。这种设计避免了对复杂转录过程的依赖，提升了检测的实时性和准确性。
技术框架：整体方法包括几个主要模块：首先，利用预训练的语音编码器提取帧级特征；其次，识别单语录音中的语言选择性隐藏状态维度；最后，将这些维度的激活聚合为代码切换的预测结果。
关键创新：本研究的核心创新在于直接从语音中检测代码切换，而非依赖文本转录。这一方法利用了预训练模型中已有的语言信息，显著提高了检测效率和准确性。
关键设计：在模型设计中，我们选择了Whisper-small编码器，并通过小规模的代码切换数据集调整决策规则。实验中，我们关注了帧级激活的聚合方式，以优化代码切换的预测性能。
🖼️ 关键图片
📊 实验亮点
在CS-FLEURS数据集上，Whisper-small编码器实现了0.798的平均F1值，显著优于CNN的0.776和HuBERT线性基线的0.751，展示了该方法在代码切换检测中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括多语言语音识别、实时翻译系统和跨语言人机交互等。通过提高代码切换的检测能力，可以更好地服务于多语言用户，提升用户体验。此外，该方法为构建更具代表性的多语言语料库提供了新的思路，推动了相关领域的研究进展。
📄 摘要（原文）
Code-switching (CS), the alternation between languages within an utterance, is common in multilingual speech but underrepresented in pretraining corpora. Increasing CS coverage requires finding relevant utterances in large speech collections so that they can be included in training data. One way to find such utterances is to transcribe the speech and detect language alternation in the text, but this depends on obtaining accurate multilingual transcriptions. We propose a lightweight method that detects CS directly from speech. It uses frame-level language information in pretrained speech encoders to determine whether both languages are present within an utterance. Specifically, we identify language-selective hidden-state dimensions using monolingual recordings and aggregate their frame-level activations into a CS prediction. With a small CS set used to tune a decision rule, we show that the Whisper-small encoder achieves a mean F1 of $0.798$ across 14 language pairs in CS-FLEURS, compared with $0.776$ for a CNN and $0.751$ for a HuBERT linear baseline trained for monolingual language identification. Our findings suggest that pretrained speech encoders already encode the information needed to identify CS utterances, and they provide a lightweight tool for building more representative multilingual corpora.