COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings

📄 arXiv: 2605.29628v1 📥 PDF

作者: Yonggang Zhu, Liting Gao, Aidong Men, Wenwu Wang

分类: cs.SD, cs.AI, cs.CL, cs.LG, eess.AS

发布日期: 2026-05-28

💡 一句话要点

COMET：通过概念空间剖析音频-文本多模态对比嵌入中的模态差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 对比学习 音频理解 模态差异 概念空间 PLS-SVD 零样本学习

📋 核心要点

  1. CLAP模型受音频-文本模态差异影响，现有方法校正均值效果有限，信息不平衡等假设缺乏验证。
  2. 提出COMET框架，利用PLS-SVD分解CLAP嵌入，揭示共享概念轴对相似度计算的关键作用。
  3. 提出谱截断方法，无需训练即可缓解模态差异，提升零样本音频字幕性能，并降低嵌入维度。

📝 摘要（中文）

对比语言-音频预训练(CLAP)模型广泛应用于音频理解，并支持许多零样本应用中的模态无关条件交换。然而，它们的性能受到音频和文本嵌入之间模态差异的严重影响。现有的解释主要将这种差异归因于锥形效应，将其视为平均嵌入之间的偏移，但仅校正平均值只能产生有限的改进。信息不平衡和维度坍塌等替代假设也被提出，但它们尚未得到充分验证，并且尚未在音频领域进行深入研究。同时，一些工作试图将多模态对比嵌入分解为可解释的概念，但没有明确地从概念分解的角度分析模态差异。在这项工作中，我们引入了COMET（基于PLS-SVD变换的概念空间组织和模态差异解释），这是一种用于CLAP的新型偏最小二乘奇异值分解(PLS-SVD)框架，它揭示了模态差异的更广阔视角。我们的框架表明，只有一小部分可解释的轴，捕捉了共享概念，对相似性计算做出了重大贡献，并且平均分量仅部分代表了模态差异。基于这一洞察，我们提出了一种简单的谱截断方法，以无训练的方式减轻模态差异。该方法使具有条件交换的零样本音频字幕能够接近完全监督的性能，而无需大型辅助存储库或昂贵的计算。同时，它实现了显着的嵌入维度降低，同时保持了在检索和音频字幕任务上的强大性能。

🔬 方法详解

问题定义：CLAP模型在音频和文本之间存在模态差异，导致零样本任务性能下降。现有方法主要关注修正嵌入均值，但效果不佳，未能充分解决模态差异的根本原因。此外，信息不平衡和维度坍塌等假设缺乏充分验证，阻碍了对模态差异的深入理解。

核心思路：论文的核心思路是通过概念空间分解来理解和缓解模态差异。作者认为，音频和文本嵌入中存在共享的概念空间，而模态差异主要体现在非共享概念上。通过识别和分离共享概念，可以有效减小模态差异，提升跨模态任务的性能。

技术框架：COMET框架主要包含以下几个步骤：1) 使用CLAP模型提取音频和文本的嵌入；2) 使用PLS-SVD对音频和文本嵌入进行分解，得到一系列奇异值和对应的奇异向量；3) 分析奇异值和奇异向量，识别代表共享概念的轴；4) 对嵌入进行谱截断，保留代表共享概念的轴，去除代表非共享概念的轴；5) 使用截断后的嵌入进行下游任务，如零样本音频字幕和检索。

关键创新：COMET的关键创新在于使用PLS-SVD对CLAP嵌入进行概念空间分解，从而能够更细粒度地分析和缓解模态差异。与现有方法仅关注修正嵌入均值不同，COMET能够识别和分离共享概念，从而更有效地减小模态差异。此外，COMET提出的谱截断方法无需训练，计算效率高，易于部署。

关键设计：COMET的关键设计包括：1) 使用PLS-SVD进行概念空间分解，PLS-SVD能够最大化音频和文本嵌入之间的协方差，从而更好地识别共享概念；2) 使用奇异值作为衡量概念重要性的指标，奇异值越大，代表该概念对相似度计算的贡献越大；3) 使用谱截断方法去除不重要的概念，保留重要的共享概念，从而减小模态差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，COMET提出的谱截断方法能够显著提升零样本音频字幕的性能，使其接近完全监督的性能。在音频字幕任务中，使用COMET处理后的嵌入，其性能优于原始CLAP嵌入。此外，COMET还实现了显著的嵌入维度降低，同时保持了在检索和音频字幕任务上的强大性能。

🎯 应用场景

该研究成果可应用于零样本跨模态检索、音频字幕生成、语音识别等领域。通过减小模态差异，可以提升跨模态任务的性能和鲁棒性。此外，该方法还可以用于嵌入维度压缩，降低存储和计算成本，具有广泛的应用前景。

📄 摘要（原文）

Contrastive Language-Audio Pretraining (CLAP) models are widely used for audio understanding and support modality-agnostic condition swapping in many zero-shot applications. However, their performance is heavily affected by the modality gap between audio and text embeddings. Existing explanations mainly attribute this gap to the cone effect, treating it as a shift between mean embeddings, yet correcting the mean alone yields only limited improvements. Alternative hypotheses, such as information imbalance and dimensionality collapse, have also been proposed, but they remain insufficiently verified and have not been thoroughly studied in the audio domain. Meanwhile, several works attempt to decompose multimodal contrastive embeddings into interpretable concepts, but none explicitly analyze the modality gap from the perspective of concept decomposition. In this work, we introduce COMET (Concept space Organization and Modality gap Explanation with PLS-SVD Transformation), a novel partial least squares singular value decomposition (PLS-SVD) framework for CLAP that unveils a broader perspective of the modality gap. Our framework reveals that only a small, interpretable subset of axes, which captures shared concepts, contributes substantially to similarity computation, and that the mean component represents only partially the modality gap. Building on this insight, we propose a simple spectral truncation method that mitigates the modality gap in a training-free manner. The method enables zero-shot audio captioning with condition swapping to approach fully supervised performance, without requiring large auxiliary memory banks or expensive computation. At the same time, it achieves substantial embedding dimensionality reduction while preserving strong performance on retrieval and audio captioning tasks.