Continual Contrastive Spoken Language Understanding

📄 arXiv: 2310.02699v3 📥 PDF

作者: Umberto Cappellazzo, Enrico Fini, Muqiao Yang, Daniele Falavigna, Alessio Brutti, Bhiksha Raj

分类: eess.AS, cs.AI

发布日期: 2023-10-04 (更新: 2024-06-04)

备注: Accepted to ACL Findings 2024

💡 一句话要点

提出COCONUT以解决持续对比学习中的语言理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 类增量学习 对比学习 语音理解 经验重放 多模态学习 知识保留 深度学习

📋 核心要点

  1. 现有的语音理解模型在持续学习新任务时，难以保持之前的知识，导致性能下降。
  2. COCONUT方法结合了经验重放和对比学习，通过对比损失优化重放样本的表示，增强了模型的学习能力。
  3. 在两个SLU数据集上的实验表明，COCONUT显著提高了模型性能，相较于基线方法有明显改善。

📝 摘要（中文）

近年来，神经网络在各个领域取得了显著进展，语音处理也不例外。然而，现有模型在持续学习新任务时，难以保留之前获得的知识，且从头开始重新训练几乎不切实际。本文探讨了在类增量学习（CIL）环境下，学习序列到序列模型以实现语音语言理解的问题，并提出了COCONUT方法，该方法结合了经验重放和对比学习。通过对标准监督对比损失的修改，COCONUT能够在重放样本中保留学习到的表示。此外，利用多模态对比损失，模型能够更好地学习新数据的判别性表示。实验结果表明，COCONUT在两个已建立的SLU数据集上显著优于基线方法。

🔬 方法详解

问题定义：本文旨在解决在类增量学习（CIL）环境下，语音语言理解模型在学习新任务时无法保留旧知识的问题。现有方法通常需要大量数据和计算资源，且在新任务学习时容易遗忘之前的知识。

核心思路：COCONUT方法通过结合经验重放和对比学习，优化重放样本的表示。具体而言，采用修改后的监督对比损失，使得同类样本更接近，而不同类样本则被推远，从而有效保留学习到的知识。

技术框架：COCONUT的整体架构包括经验重放模块和对比学习模块。经验重放模块负责存储和重放旧任务样本，而对比学习模块则通过对比损失优化这些样本的表示。此外，模型还利用多模态对比损失来对齐音频和文本特征。

关键创新：COCONUT的主要创新在于将对比学习与经验重放相结合，提出了一种新的损失函数设计，使得模型在学习新任务时能够有效保留旧知识。这种方法与传统的增量学习方法有本质区别，后者往往忽视了对旧知识的保护。

关键设计：在损失函数设计上，COCONUT采用了修改后的监督对比损失，仅应用于重放样本。此外，模型还引入了多模态对比损失，以增强新数据的判别性表示。具体的网络结构和参数设置在实验中经过调优，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，COCONUT在两个标准SLU数据集上显著优于基线方法，具体提升幅度达到XX%。此外，COCONUT与解码器侧的其他方法结合后，进一步提高了模型的性能指标，展示了其良好的兼容性和扩展性。

🎯 应用场景

该研究的潜在应用领域包括智能语音助手、自动语音识别系统以及人机交互等。通过提升模型在持续学习中的表现，COCONUT能够使这些系统更好地适应不断变化的用户需求，提供更准确的语音理解能力。未来，该方法可能在多模态学习和其他增量学习任务中展现出更广泛的应用价值。

📄 摘要（原文）

Recently, neural networks have shown impressive progress across diverse fields, with speech processing being no exception. However, recent breakthroughs in this area require extensive offline training using large datasets and tremendous computing resources. Unfortunately, these models struggle to retain their previously acquired knowledge when learning new tasks continually, and retraining from scratch is almost always impractical. In this paper, we investigate the problem of learning sequence-to-sequence models for spoken language understanding in a class-incremental learning (CIL) setting and we propose COCONUT, a CIL method that relies on the combination of experience replay and contrastive learning. Through a modified version of the standard supervised contrastive loss applied only to the rehearsal samples, COCONUT preserves the learned representations by pulling closer samples from the same class and pushing away the others. Moreover, we leverage a multimodal contrastive loss that helps the model learn more discriminative representations of the new data by aligning audio and text features. We also investigate different contrastive designs to combine the strengths of the contrastive loss with teacher-student architectures used for distillation. Experiments on two established SLU datasets reveal the effectiveness of our proposed approach and significant improvements over the baselines. We also show that COCONUT can be combined with methods that operate on the decoder side of the model, resulting in further metrics improvements.