HC$^2$L: Hybrid and Cooperative Contrastive Learning for Cross-lingual Spoken Language Understanding

📄 arXiv: 2405.06204v1 📥 PDF

作者: Bowen Xing, Ivor W. Tsang

分类: cs.CL, cs.AI

发布日期: 2024-05-10

备注: Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). arXiv admin note: text overlap with arXiv:2312.03716

💡 一句话要点

提出混合协同对比学习(HC$^2$L)用于跨语言口语理解

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨语言口语理解 对比学习 有监督学习 无监督学习 多语言学习 语义对齐 零样本学习

📋 核心要点

  1. 现有跨语言口语理解模型忽略了意图/槽位标签，无法有效利用标签信息进行语义对齐。
  2. 提出混合协同对比学习(HC$^2$L)，融合无监督和多种有监督对比学习，增强语义表示的一致性和区分性。
  3. 实验结果表明，HC$^2$L在9种语言上取得了显著提升，达到了新的state-of-the-art水平。

📝 摘要（中文）

本文提出了一种用于零样本跨语言口语理解的混合协同对比学习(HC$^2$L)模型。现有方法主要采用跨语言无监督对比学习，以实现utterance与其code-switched数据之间label-agnostic的语义对齐，但忽略了intent/slot标签。这些标签信息有助于捕获label-aware的语义结构，进而通过有监督对比学习来提升源语言和目标语言的语义表示。HC$^2$L模型通过综合利用源语言有监督对比学习、跨语言有监督对比学习和多语言有监督对比学习，以全面地执行label-aware的语义对齐。每种有监督对比学习机制都包含单任务和联合任务场景。模型中，一种对比学习机制的输入会被其他机制增强。因此，这四种对比学习机制协同工作，在训练过程中形成良性循环，从而学习到更一致和更具区分性的表示。实验结果表明，该模型在9种语言上均取得了持续的改进，达到了新的state-of-the-art性能。

🔬 方法详解

问题定义：现有零样本跨语言口语理解模型主要依赖跨语言无监督对比学习，以实现utterance与其code-switched数据之间的语义对齐。然而，这种方法忽略了宝贵的意图/槽位标签信息，这些标签信息对于学习label-aware的语义结构至关重要。因此，如何有效利用标签信息来提升跨语言口语理解的性能是一个关键问题。

核心思路：本文的核心思路是利用混合协同对比学习(HC$^2$L)框架，将无监督对比学习与多种有监督对比学习相结合，从而更全面地学习语义表示。通过源语言有监督对比学习、跨语言有监督对比学习和多语言有监督对比学习，模型可以学习到更丰富、更具区分性的语义信息。此外，不同对比学习机制之间相互增强，形成良性循环，进一步提升学习效果。

技术框架：HC$^2$L模型包含四个主要的对比学习机制：跨语言无监督对比学习、源语言有监督对比学习、跨语言有监督对比学习和多语言有监督对比学习。每种有监督对比学习机制都包含单任务（仅意图或仅槽位）和联合任务（意图和槽位）两种场景。模型的整体训练流程是，首先进行跨语言无监督对比学习，然后依次进行源语言、跨语言和多语言的有监督对比学习。在每个有监督对比学习阶段，其他对比学习机制的输出会被用来增强当前机制的输入。

关键创新：HC$^2$L的关键创新在于其混合协同的学习方式。与以往只使用无监督对比学习的方法不同，HC$^2$L充分利用了标签信息，通过多种有监督对比学习机制来学习label-aware的语义结构。此外，不同对比学习机制之间的协同作用也是一个重要的创新点，它们相互增强，共同提升模型的性能。

关键设计：在损失函数方面，HC$^2$L采用了InfoNCE损失函数进行对比学习。对于有监督对比学习，正样本是具有相同标签的样本，负样本是具有不同标签的样本。在网络结构方面，HC$^2$L可以使用各种预训练语言模型作为encoder，例如BERT或XLM-RoBERTa。具体的参数设置需要根据具体的实验数据进行调整，例如学习率、batch size等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HC$^2$L模型在9种语言上均取得了持续的改进，显著优于现有的state-of-the-art模型。例如，在某些数据集上，HC$^2$L的性能提升超过了5%。这些结果证明了HC$^2$L模型在跨语言口语理解方面的有效性和优越性。

🎯 应用场景

该研究成果可应用于多语言智能客服、跨语言语音助手、全球化教育平台等领域。通过提升跨语言口语理解的准确性，可以实现更自然、更高效的跨语言人机交互，促进不同语言文化之间的交流与合作，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

State-of-the-art model for zero-shot cross-lingual spoken language understanding performs cross-lingual unsupervised contrastive learning to achieve the label-agnostic semantic alignment between each utterance and its code-switched data. However, it ignores the precious intent/slot labels, whose label information is promising to help capture the label-aware semantics structure and then leverage supervised contrastive learning to improve both source and target languages' semantics. In this paper, we propose Hybrid and Cooperative Contrastive Learning to address this problem. Apart from cross-lingual unsupervised contrastive learning, we design a holistic approach that exploits source language supervised contrastive learning, cross-lingual supervised contrastive learning and multilingual supervised contrastive learning to perform label-aware semantics alignments in a comprehensive manner. Each kind of supervised contrastive learning mechanism includes both single-task and joint-task scenarios. In our model, one contrastive learning mechanism's input is enhanced by others. Thus the total four contrastive learning mechanisms are cooperative to learn more consistent and discriminative representations in the virtuous cycle during the training process. Experiments show that our model obtains consistent improvements over 9 languages, achieving new state-of-the-art performance.