Learning Speech Attribute Representations via Multi-Teacher Distillation

📄 arXiv: 2610.21941v1 📥 PDF

作者: Maryem Bouziane, Salima Mdhaffar, Yannick Estève

分类: cs.CL

发布日期: 2026-10-15

💡 一句话要点

提出多教师蒸馏框架以同时学习多种语音属性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 多教师蒸馏 语音属性学习 自监督学习 多任务学习 语音识别 情感分析 说话人验证

📋 核心要点

  1. 现有方法通常只能学习单一的语音属性，难以同时处理多种互补的语音表示，限制了模型的应用范围。
  2. 本文提出了一种多属性多教师蒸馏框架，利用共享的自监督学习骨干网络和特定属性的分支，能够同时学习多种语音属性。
  3. 实验结果显示，所提模型在多项任务上表现优异，接近于专用单任务模型，同时显著减少了计算资源的需求。

📝 摘要（中文）

近年来，后训练方法显示自监督语音编码器可以通过知识蒸馏适应学习单一的语音属性。本文探讨了单一语音编码器是否能够同时保留多个互补的语音表示。我们提出了一种多属性多教师蒸馏框架，通过共享的自监督学习骨干网络和特定属性的分支，从四个冻结的教师模型中学习语义、说话人、语言和情感表示。实验结果表明，所提模型在多语言语义检索、说话人验证、语言识别和语音情感识别任务上，性能接近于专用的单任务学生模型，同时仅需一个共享编码器。此外，学习到的层聚合策略揭示了不同语音属性在自监督编码器的不同深度自然出现，为语音表示的组织提供了新的见解。

🔬 方法详解

问题定义：本文旨在解决现有方法只能学习单一语音属性的问题，导致无法同时处理多种语音表示的局限性。

核心思路：通过引入多教师蒸馏框架，利用多个冻结的教师模型来指导单一编码器学习多种语音属性，从而实现多任务学习的目标。

技术框架：整体架构包括一个共享的自监督学习骨干网络和多个属性特定的分支，分别用于学习语义、说话人、语言和情感表示。

关键创新：最重要的创新在于提出了多属性多教师蒸馏的策略，使得单一编码器能够有效地学习多种语音属性，突破了传统方法的局限。

关键设计：设计中采用了特定的损失函数来平衡不同属性的学习，同时通过层聚合策略优化了不同属性在编码器中的表示深度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提模型在多语言语义检索、说话人验证、语言识别和语音情感识别任务上，性能接近于专用的单任务学生模型，且在计算资源上显著降低，展示了多任务学习的有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言语音识别、情感分析、个性化语音助手等。通过同时学习多种语音属性，能够提升语音处理系统的智能化水平和用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Recent post-training approaches have shown that self-supervised speech encoders can be adapted to learn a single utterance-level speech attribute through knowledge distillation. In this work, we investigate whether a single speech encoder can simultaneously preserve multiple complementary utterance-level speech representations. We propose a multi-attribute multi-teacher distillation framework that learns semantic, speaker, language, and emotion representations from four frozen teacher models using a shared SSL backbone and attribute-specific branches. Experiments on multilingual semantic retrieval, speaker verification, language identification, and speech emotion recognition show that the proposed model achieves performance close to dedicated single-task students while requiring only a single shared encoder. Furthermore, the learned layer aggregation strategies reveal that different speech attributes naturally emerge at different depths of the SSL encoder, providing new insights into the organization of speech representations.