CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval

📄 arXiv: 2412.13071v2 📥 PDF

作者: Mohammad Mahdi Abootorabi, Ehsaneddin Asgari

分类: cs.CL, cs.IR, cs.SD, eess.AS

发布日期: 2024-12-17 (更新: 2025-03-23)

备注: accepted at ECIR 2025, 13 pages, 4 figures

💡 一句话要点

CLASP：用于多语言多模态信息检索的对比语言-语音预训练

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言 多模态 信息检索 对比学习 语音识别 文本编码 跨模态检索 预训练模型

📋 核心要点

  1. 现有基于ASR的检索方法依赖语音转录，在噪声或口音变化下性能受限，且忽略了语音的韵律等信息。
  2. CLASP通过对比学习，直接在语音和文本的嵌入空间中对齐，避免了中间转录步骤，提升了跨模态检索的鲁棒性。
  3. 实验结果表明，CLASP在多语言环境下的HITS@1、MRR和meanR指标上超越了传统方法，确立了新的性能基准。

📝 摘要（中文）

本研究提出了CLASP（对比语言-语音预训练），一种为音频-文本信息检索定制的多语言、多模态表示模型。CLASP利用了语音内容和文本数据之间的协同作用。在训练过程中，我们使用了新提出的语音-文本数据集，该数据集涵盖了从小说到宗教等15个不同的类别。CLASP的音频组件集成了音频频谱图和一个预训练的自监督语音模型，而其语言编码对应部分则采用了在一个包含100多种语言的数据集上预训练的句子编码器。这种统一的轻量级模型弥合了各种模态和语言之间的差距，增强了其在处理和检索多语言和多模态数据方面的有效性。在多种语言上的评估表明，CLASP在HITS@1、MRR和meanR指标上建立了新的基准，优于传统的基于ASR的检索方法，后者依赖于将语音转录为文本以进行后续的文本检索，尤其是在特定场景中。

🔬 方法详解

问题定义：现有的多语言多模态信息检索方法，特别是音频-文本检索，通常依赖于自动语音识别（ASR）系统将语音转录成文本，然后再进行文本检索。这种方法的痛点在于ASR系统的准确率会受到噪声、口音变化等因素的影响，导致检索性能下降。此外，ASR转录过程也忽略了语音中的韵律、情感等信息，这些信息对于理解语音内容至关重要。

核心思路：CLASP的核心思路是通过对比学习，直接学习语音和文本的联合嵌入表示，从而避免了中间的转录步骤。通过将语音和文本映射到同一个嵌入空间，使得语义相似的语音和文本在嵌入空间中距离更近，从而实现高效的跨模态检索。这种方法能够更好地利用语音中的信息，并且对ASR系统的错误具有更强的鲁棒性。

技术框架：CLASP的整体框架包含两个主要模块：音频编码器和文本编码器。音频编码器首先将音频信号转换为频谱图，然后使用预训练的自监督语音模型（例如，HuBERT或wav2vec 2.0）提取音频特征。文本编码器使用预训练的句子编码器（例如，多语言BERT）将文本转换为句子嵌入。然后，通过对比学习的目标函数，训练模型将语义相关的语音和文本的嵌入向量拉近，将不相关的向量推远。

关键创新：CLASP最重要的技术创新点在于它直接学习语音和文本的联合嵌入表示，避免了中间的转录步骤。这使得模型能够更好地利用语音中的信息，并且对ASR系统的错误具有更强的鲁棒性。此外，CLASP还采用了多语言预训练技术，使其能够处理多种语言的语音和文本数据。

关键设计：CLASP的关键设计包括：1) 使用预训练的自监督语音模型和句子编码器来初始化音频和文本编码器，从而加速训练过程并提高性能；2) 采用对比学习的目标函数，例如InfoNCE，来训练模型；3) 使用大规模的语音-文本数据集进行训练，以提高模型的泛化能力；4) 音频编码器可以使用不同的网络结构，例如Transformer或CNN，具体选择取决于计算资源和性能要求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLASP在多语言环境下的实验结果表明，其在HITS@1、MRR和meanR指标上均优于传统的基于ASR的检索方法。例如，在特定语言和数据集上，CLASP的HITS@1指标提升了超过10%。这些结果表明，CLASP能够有效地学习语音和文本的联合嵌入表示，并且对ASR系统的错误具有更强的鲁棒性。

🎯 应用场景

CLASP在多语言多模态信息检索领域具有广泛的应用前景，例如：多语言语音搜索、跨语言视频字幕检索、智能语音助手等。该研究的实际价值在于提高了跨模态检索的准确性和鲁棒性，尤其是在噪声环境和多语言场景下。未来，CLASP可以进一步扩展到其他模态，例如图像和视频，从而实现更全面的多模态信息检索。

📄 摘要（原文）

This study introduces CLASP (Contrastive Language-Speech Pretraining), a multilingual, multimodal representation tailored for audio-text information retrieval. CLASP leverages the synergy between spoken content and textual data. During training, we utilize our newly introduced speech-text dataset, which encompasses 15 diverse categories ranging from fiction to religion. CLASP's audio component integrates audio spectrograms with a pre-trained self-supervised speech model, while its language encoding counterpart employs a sentence encoder pre-trained on over 100 languages. This unified lightweight model bridges the gap between various modalities and languages, enhancing its effectiveness in handling and retrieving multilingual and multimodal data. Our evaluations across multiple languages demonstrate that CLASP establishes new benchmarks in HITS@1, MRR, and meanR metrics, outperforming traditional ASR-based retrieval methods that rely on transcribing speech into text for subsequent text retrieval, especially in specific scenarios.