GLaS-JEPA: Gaussian-Regularized Speech SSL without Engineered Prediction Targets

📄 arXiv: 2609.37798v1 📥 PDF

作者: Gaspard Botté, Séverin Baroudi, Samir Sadok, Francesco Paissan, Thomas Hueber, Xavier Alameda-Pineda, Ricard Marxer, Mirco Ravanelli

分类: eess.AS, cs.AI, cs.LG, cs.SD

发布日期: 2026-09-29

💡 一句话要点

提出GLaS-JEPA框架以简化语音自监督学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语音自监督学习 表示学习 深度学习 SIGReg正则化 模型压缩

📋 核心要点

  1. 现有的语音自监督学习方法依赖复杂的预测目标，导致训练过程繁琐且效果受限。
  2. GLaS-JEPA框架通过直接预测编码器在掩蔽位置的连续表示，简化了训练过程，避免了对比学习和工程化目标的需求。
  3. 在960小时的LibriSpeech数据集上预训练后，该模型在多个任务上显著超越了现有基线，展示了其有效性。

📝 摘要（中文）

语音自监督学习旨在为下游语音任务学习通用表示。然而，现有方法依赖复杂的预测目标。本文提出GLaS-JEPA框架，直接预测当前编码器在掩蔽位置的连续表示，避免了对比学习、离散目标或单独的EMA目标编码器的需求。通过SIGReg表示空间正则化，防止表示崩溃，消除了对工程化目标生成机制的需求。在960小时LibriSpeech数据集上进行预训练，57M参数的模型在冻结编码器的SUPERB ASR上实现了6.89%的WER，在槽填充任务上实现了25.87%的CER，分别比最佳非蒸馏的90M以下基线提升了43.1%和22.0%。这些结果表明，竞争力强的语音表示可以通过极简化的训练方案获得。

🔬 方法详解

问题定义：现有的语音自监督学习方法通常依赖于复杂的预测目标，这不仅增加了训练的复杂性，还可能导致表示崩溃和性能下降。

核心思路：GLaS-JEPA框架通过直接预测当前编码器在掩蔽位置的连续表示，简化了训练过程，消除了对比学习和离散目标的需求，从而提高了模型的稳定性和性能。

技术框架：该框架主要包括输入特征的编码、掩蔽策略的应用以及连续表示的预测。通过SIGReg正则化，确保了表示的多样性和有效性。

关键创新：最重要的创新在于去除了对工程化目标生成机制的需求，采用SIGReg正则化来防止表示崩溃，这与现有方法形成了鲜明对比。

关键设计：模型参数设置为57M，使用960小时的LibriSpeech数据集进行预训练，损失函数设计为直接预测掩蔽位置的连续表示，确保了训练的高效性和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在冻结编码器的SUPERB ASR任务中，GLaS-JEPA模型实现了6.89%的WER，在槽填充任务中达到了25.87%的CER，分别比最佳非蒸馏的90M以下基线提升了43.1%和22.0%，显示出其卓越的性能。

🎯 应用场景

该研究的潜在应用领域包括语音识别、语音合成和自然语言处理等。通过简化的训练过程，GLaS-JEPA框架能够在资源有限的情况下，快速生成高质量的语音表示，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Speech self-supervised learning aims to learn general-purpose representations for downstream speech tasks. However, current approaches rely on complex, carefully designed prediction targets. We challenge this necessity with GLaS-JEPA, a framework that directly predicts the current encoder's continuous representations at masked positions, without contrastive learning, discrete targets, or separate EMA target encoders. We prevent representation collapse using SIGReg representation-space regularization, eliminating the need for engineered target-generation mechanisms. Pretrained on 960 hours of LibriSpeech, our 57M-parameter model achieves a 6.89% WER on frozen-encoder SUPERB ASR and a 25.87% CER on slot filling, outperforming the best non-distilled sub-90M baselines by 43.1% and 22.0%, respectively. These results demonstrate that highly competitive speech representations can emerge from a radically simplified training recipe.